单路并发性能测试日志，根据TPOT换算用户解码性能为33.3 tokens/s

DeepSeek R1 671B是一个稀疏度较高的MoE架构模型，具有模型参数量大、计算量小的特点。和Dense模型相比，在满足KV cache的显存占用的前提下，可以支持更高的并发访问需求。实测数据表明，基于单台NF5688G7，在使用DeepSeek R1进行带思维链深度思考的短输入长输出的问答场景下，使用100/1000作为输入输出长度，实测在单个用户并发时的解码性能为33.3tokens/s；在16个用户并发时，每个用户有约20 tokens/s的解码性能；在64个用户并发时，每个用户有约10.4 tokens/s的解码性能。而在使用1024个用户并发访问的极限测试时，单台NF5688G7实现了3975.76 tokens/s的吞吐性能，可以满足超高并发场景下多用户使用需求。

1024路并发性能测试日志，测试使用了1000/1000的输入输出长度，实现了3975.76 tokens/s的总设备吞吐
浪潮信息团队正与业内团队密切合作，在计算架构、算子调优、并行策略、框架适配、调度管理等多个方面持续发力，旨在为用户带来高性能、高效稳定、性价比高的DeepSeek大模型部署服务方案，助力大模型快速落地应用。
浪潮信息团队与行业内的合作伙伴紧密协作，持续在计算架构、算子优化、并行策略及框架适配等多个领域进行创新，旨在为用户提供高效、稳定且具性价比的 DeepSeek 大模型部署服务。作为全球领先的 IT 基础设施产品和服务提供商，浪潮信息致力于通过元脑服务器推动人工智能的快速发展与应用落地，构建开放、绿色的智能计算生态。