久久精品欧美日韩精品/狠狠色婷婷久久一区二区三区/国产精品午夜无码av体验区/丰满人妻av无码一区二区三区/成人做爰A片免费看网站爱酱

聯想AI服務器首次實現低于1TB本地部署DeepSeek滿血大模型

近日,聯想集團宣布基于聯想問天WA7780 G3服務器,在行業內首次實現單機部署DeepSeek-R1/V3 671B大模型,以低于行業公認1TGB顯存(實際768GB)承載多并發用戶流暢體驗,可以滿足千人企業的使用需求,為行業樹立了企業級大模型部署新基準。

聯想問天WA7780 G3大模型訓推一體服務器

突破性能限制,樹立DeepSeek-R1大模型部署新基準

作為全球關注的焦點,眾多企業正準備在本地化部署DeepSeek大模型。然而,在落地實施過程中用戶普遍面臨以下關鍵決策難題:單機能否部署滿血版DeepSeek R1?所需最低配置是什么?如何確保高并發與吞吐量下的優質體驗?如何避免采購陷阱?

聯想此次突破為企業提供科學選型指南。針對行業公認1TB顯存是千億參數大模型運行基線的背景下,聯想研發團隊通過專家并行優化、智能訪存架構升級及PCIe 5.0全互聯架構創新,大幅提升了顯存利用率,從而實現了性能的提升。

據了解,聯想WA7780 G3服務器在2月初已實現單機768GB GPU顯存條件下部署DeepSeek 671B R1和V3滿血模型,并能滿足中小企業的并發需求。進而通過聯想萬全異構智算平臺的訪存優化,專家并行調用策略等技術優化手段,實現了單機一個月內并發能力增長10倍, 同時還提升了每路用戶的TPOT、TTFT等綜合性能體驗

持續優化升級,解決用戶體驗難題

聯想的這一創新成果揭示了設備選型的新維度,也提醒企業審慎評估各種測試數據,摒棄對總吞吐量和總并發數等指標的片面追求,而應從用戶體驗出發,關注這些指標背后的隱藏信息,如數據精度等。實際上,如果將數據精度從FP8轉為int8或int4(即量化),雖能明顯改善性能表現(如更高并發量和高吞吐量),但會犧牲結果的準確性,顯然這不是用戶所期望的。

需要特別指出的是,高吞吐量和高并發量也并不等同于用戶體驗好。若服務器GPU卡配置不高,局部通信瓶頸可能引發響應延遲使體驗降級,這正是聯想著力解決的難點之一。

毫無疑問,聯想技術突破將有效破除大模型落地瓶頸,顯著加速大模型在企業的落地進程。未來,聯想基礎設施業務群與聯想研究院ICI實驗室將繼續攜手合作,依托聯想萬全異構智算平臺對DeepSeek平臺從AI預訓練、后訓練到推理的全流程進行持續優化,為客戶奉獻出性能更佳、性價比更高的產品和解決方案,以加速DeepSeek大模型的落地,推動新一輪生產力革命。

標簽: 聯想
聯想AI服務器首次實現低于1TB本地部署DeepSeek滿血大模型
掃描二維碼查看原文
分享自DoNews
Copyright ? DoNews 2000-2025 All Rights Reserved