3月25日,浪潮信息宣布元腦企智DeepSeek一體機(jī)推出“雙模”版,單機(jī)可同時(shí)部署、運(yùn)行671B參數(shù)的DeepSeek R1與V3模型,并可高性能支持2000用戶(hù)并發(fā)服務(wù),結(jié)合元腦企智EPAI企業(yè)大模型應(yīng)用開(kāi)發(fā)平臺(tái),將為各行業(yè)用戶(hù)提供強(qiáng)大、好用、易部署的大模型應(yīng)用系統(tǒng)。
浪潮信息團(tuán)隊(duì)針對(duì)用戶(hù)的這一迫切需求,從AI 服務(wù)器、推理框架、大模型應(yīng)用軟件等多個(gè)方面開(kāi)展適配與優(yōu)化工作,推出浪潮元腦企智DeepSeek一體機(jī),已適配支持DeepSeek R1 671B、DeepSeek V3 671B/685B模型,實(shí)現(xiàn)了“快思考”與“深度思考”能力的全面融合,助力企業(yè)用戶(hù)在全場(chǎng)景下充分釋放DeepSeek大模型能力。
元腦企智DeepSeek一體機(jī)NF5698A7原生支持FP8計(jì)算引擎,以1536GB HBM3顯存、5.3 TB/s 內(nèi)存帶寬實(shí)現(xiàn)了顯存容量與通信效率的黃金組合,適配 DeepSeek R1模型“短輸入長(zhǎng)輸出、顯存帶寬敏感”的技術(shù)特性,單機(jī)支持全量DeepSeek R1與V3模型推理情況下,仍保留充足的KV緩存空間,配合896 GB/s P2P帶寬的高速通信架構(gòu),在保障單機(jī)部署張量并行效率的同時(shí),實(shí)現(xiàn)大模型推理解碼階段的加速,為DeepSeek R1與V3模型提供強(qiáng)勁算力支撐與穩(wěn)定運(yùn)行保障。
此外,得益于超大顯存,浪潮NF5698A7的能夠同時(shí)部署、運(yùn)行DeepSeek R1與DeepSeek V3模型,為用戶(hù)帶來(lái)了“開(kāi)箱即用”的解決方案,降低了DeepSeek模型部署的技術(shù)門(mén)檻,快速實(shí)現(xiàn)大模型在業(yè)務(wù)中的應(yīng)用。