浪潮信息推出元脑 R1 推理服务器，单机支持DeepSeek R1 671B全量模型部署

　　浪潮信息近日发布元脑 R1 推理服务器，通过系统创新与软硬协同优化，实现单机即可部署和运行DeepSeek R1 671B模型。DeepSeek R1 671B作为全参数基础大模型，具备更强的泛化能力、更高的准确性以及更好的上下文理解能力，但也对系统显存容量、带宽及通信延迟提出了更高要求。FP8精度下，该模型至少需要800GB显存，FP16/BF16精度下则需1.4TB以上。

　　元脑 R1 推理服务器NF5688G7原生搭载FP8计算引擎，提供1128GB HBM3e显存，满足671B模型在FP8精度下的显存需求，并支持单机全量推理。其显存带宽达4.8TB/s，GPU P2P带宽为900GB/s，单机可支持20-30用户并发。此外，NF5688G7配备3200Gbps无损扩展网络，可根据业务需求灵活扩展。

　　另一款机型NF5868G8专为大推理模型设计，业界首次实现单机支持16张标准PCIe双宽卡，提供最高1536GB显存容量，支持FP16/BF16精度下单机部署DeepSeek 671B模型。通过PCIe Fabric全互连拓扑，通信延迟降低超60%，推理性能提升近40%。