2月11日,,浪潮信息正式推出元腦R1推理服務器,,通過系統(tǒng)創(chuàng)新和軟硬協(xié)同優(yōu)化,單機即可部署運行DeepSeek R1 671B模型,,幫助客戶降低DeepSeek R1全參數(shù)模型的部署難度及成本,,并提升推理服務性能,,加速千行百業(yè)探索智能涌現(xiàn)。
浪潮元腦R1推理服務器NF5688G7是高算效AI計算平臺,,原生搭載FP8計算引擎,針對DeepSeek R1 671B模型部署速度快且無精度損失,。在顯存方面,,提供1128GB HBM3e高速顯存,滿足671B模型 FP8精度下不低于800GB顯存容量的需求,,單機支持全量模型推理情況下,,仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s,,契合DeepSeek R1模型"短輸入長輸出,、顯存帶寬敏感"的技術特征,在推理解碼階段可實現(xiàn)加速,。在通信方面,,GPU P2P帶寬達900GB/s,保障單機部署張量并行通訊性能,,基于新推理框架單機可支持20-30用戶并發(fā),。同時,單臺NF5688G7配備3200Gbps無損擴展網絡,,可根據(jù)用戶業(yè)務需求增長實現(xiàn)敏捷擴展,,提供成熟的R1服務器集群Turnkey解決方案。
元腦R1推理服務器NF5868G8服務器是專為大推理模型(Large Reasoning Model)創(chuàng)新設計的高吞吐推理服務器,,業(yè)界實現(xiàn)單機支持16張標準PCIe雙寬卡,,提供高達1536GB顯存容量,支持在FP16/BF16精度下單機部署DeepSeek 671B模型,。創(chuàng)新研發(fā)基于PCIe Fabric的16卡全互連拓撲,,任意兩卡P2P通信帶寬可達128GB/s,降低通信延遲超60%,。通過軟硬協(xié)同優(yōu)化,,相較傳統(tǒng)2機8卡PCIe機型,浪潮NF5868G8服務器可將DeepSeek 671B模型推理性能提升近40%,,目前已支持多元AI加速卡選配,。