91大神成人av影院一区二区|九色少妇丨porny丨白丝亚洲av无一区二区久久|91久久精品人妻中文字幕国产天堂91|粉嫩av中文一区二区三区91人妻内射在线|果冻传媒精选一区二区婷婷精品中文字幕|91人妻中文字幕|少妇一级淫片中文字幕|成人aaa片一区国产精品|亚洲中文字幕一区二区三区四区|亚洲av动态图,久久久亚洲精品成人,一二三四人妻久久中文字幕,五码av在线播放

當(dāng)前位置首頁 > 信息動態(tài)  > 行業(yè)動態(tài) 返回

浪潮信息推出元腦R1推理服務(wù)器,單機(jī)即可釋放DeepSeek 671B強(qiáng)大模力

來源:best2show.com  |  發(fā)布時(shí)間:2025年02月18日

2月11日,浪潮信息正式推出元腦R1推理服務(wù)器,通過系統(tǒng)創(chuàng)新和軟硬協(xié)同優(yōu)化,單機(jī)即可部署運(yùn)行DeepSeek R1 671B模型,幫助客戶降低DeepSeek R1全參數(shù)模型的部署難度及成本,并提升推理服務(wù)性能,加速千行百業(yè)探索智能涌現(xiàn)。



浪潮元腦R1推理服務(wù)器NF5688G7是高算效AI計(jì)算平臺,原生搭載FP8計(jì)算引擎,針對DeepSeek R1 671B模型部署速度快且無精度損失。在顯存方面,提供1128GB HBM3e高速顯存,滿足671B模型 FP8精度下不低于800GB顯存容量的需求,單機(jī)支持全量模型推理情況下,仍保留充足的KV緩存空間。顯存帶寬高達(dá)4.8TB/s,契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術(shù)特征,在推理解碼階段可實(shí)現(xiàn)加速。在通信方面,GPU P2P帶寬達(dá)900GB/s,保障單機(jī)部署張量并行通訊性能,基于新推理框架單機(jī)可支持20-30用戶并發(fā)。同時(shí),單臺NF5688G7配備3200Gbps無損擴(kuò)展網(wǎng)絡(luò),可根據(jù)用戶業(yè)務(wù)需求增長實(shí)現(xiàn)敏捷擴(kuò)展,提供成熟的R1服務(wù)器集群Turnkey解決方案。


元腦R1推理服務(wù)器NF5868G8服務(wù)器是專為大推理模型(Large Reasoning Model)創(chuàng)新設(shè)計(jì)的高吞吐推理服務(wù)器,業(yè)界實(shí)現(xiàn)單機(jī)支持16張標(biāo)準(zhǔn)PCIe雙寬卡,提供高達(dá)1536GB顯存容量,支持在FP16/BF16精度下單機(jī)部署DeepSeek 671B模型。創(chuàng)新研發(fā)基于PCIe Fabric的16卡全互連拓?fù)洌我鈨煽≒2P通信帶寬可達(dá)128GB/s,降低通信延遲超60%。通過軟硬協(xié)同優(yōu)化,相較傳統(tǒng)2機(jī)8卡PCIe機(jī)型,浪潮NF5868G8服務(wù)器可將DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡選配。

+ 微信號:1861422013