DeepSeek官方開源昇騰基礎元件,與昇騰共建高效易用的AI晶片軟體生態
https://www.qbitai.com/2026/09/499263.html📌 DeepSeek開源昇騰元件,V4.1單卡衝上5102 tokens/s
TL;DR:DeepSeek將GPU平臺的核心運算元與通訊庫搬到華為昇騰,並附上實測推理吞吐數據。
當大家還在討論「國產晶片能不能撐起大模型訓練」時,DeepSeek 直接把答案攤在檯面上:9月30日正式開源一整套面向昇騰算力平臺的基礎設施元件,與此前GPU平臺開源的內容一一對應,等於把自己的軟體棧複製了一份到昇騰生態。
🤔 為什麼要重造一套基礎設施元件
要讓大模型在不同硬體平臺上都跑得快,光有框架不夠,還需要針對硬體特性深度調優的底層運算元與通訊庫。DeepSeek過去在GPU平臺上已經開源過類似元件,這次則是把同一套設計思路搬到華為昇騰平臺,補齊了非GPU路線的高效能實作,也讓依賴昇騰算力的團隊有了現成的參考實作可用。
🧩 DeepGEMM、FlashMLA 到 DeepEP,對應GPU版本一條龍
本次開源涵蓋TileLang高階語言編譯工具、高效能運算元庫(DeepGEMM、FlashMLA、TileKernel、DeepSelect)以及分散式通訊庫DeepEP。華為方面提供了穩定開放的Ascend C API,讓開發者能深入調整訪存路徑與計算流水線;同時底層對接PTO ISA指令體系,支援TileLang這類高階語言直接編譯對接昇騰硬體。這個設計同時照顧到兩種開發者:既能讓資深工程師手工精細調優,也能讓一般開發者透過TileLang這類高階語言快速上手。
在網路架構上,華為與DeepSeek團隊聯合定義了昇騰SuperPoD Flex與UBL128組網方案,可支援128卡3.2Tbps單層交換的Scale-up網路,以及256K卡兩層交換的Scale-out網路,分別對應超低時延推理與前沿基座模型的大規模訓練需求。基於這套全互聯的UBL128超節點,昇騰提供了ASC-COMM高效能自定義通訊庫,而DeepSeek團隊開發的DeepEP通訊庫涵蓋EP/CP/PP/FSDP等模式下的通訊運算元。
📊 通訊頻寬與推理吞吐的實測數字
摘要中提到,DeepEP通訊庫實測互聯頻寬達到Dispatch 375 GB/s、Combine 347 GB/s,已接近硬體上限。而在大規模推理場景,基於EP32部署策略,offline推理模式下DeepSeek-V4.1-Flash的純模型效能(不含框架排程開銷)達到:
| TPOT | 每卡輸出吞吐 |
|---|---|
| 5ms | 2469 tokens/s |
| 10ms | 5102 tokens/s |
需要留意的是,這組數據採集自Offline推理模式,不包含Serving排程與框架負載均衡的影響,測試的Context Length為128K,且Dspark投機接受率為0.85,因此不能直接等同於線上服務的實際表現。
💡 開源之外,還開放了一整套部署實踐
除了核心元件,華為也把與DeepSeek聯合創新的成果放上了CANN社群,包括大EP低時延推理部署、單卡/單機部署、大規模訓練、超長文本KVcache池化,以及Agentic RL相關的實踐文件,等於是把從推理到訓練的完整鏈路都公開了參考做法。
🎯 實務啟示
對於必須在非GPU平臺上部署大模型的團隊,這批元件提供了現成的高效能運算元與通訊庫起點,省去從零調優Ascend C的成本;而TileLang這類高階語言的開放,也讓不打算深入底層指令集的團隊能用更熟悉的方式接入昇騰生態。
🔗 來源
- 標題:DeepSeek官方開源昇騰基礎元件,與昇騰共建高效易用的AI晶片軟體生態
- 作者/機構:量子位(本文由華為提供授權轉載)
- 連結:https://www.qbitai.com/2026/09/499263.html
#DeepSeek #Ascend #昇騰 #AIChip #OpenSource #FlashMLA #DeepEP #LLMInference #CANN #AIInfrastructure
原始資料 量子位 · 收集於 2026-09-30
摘要原文
DeepSeek官方開源昇騰基礎元件,與昇騰共建高效易用的AI晶片軟體生態 量子位的朋友們 2026-09-30 10:53:17 來源: 量子位 9月30日,DeepSeek 正式開源面向昇騰算力平臺的基礎設施元件,涵蓋 TileLang 高階語言編譯工具、高效能運算庫與分散式通訊庫,與此前面向GPU平臺開源的元件一一對應。 Deepseek團隊面向華為昇騰平臺開源釋出基礎設施加速庫,對中國 AI 軟體生態具有里程碑意義,為算力平臺提供了新的選擇。 本次開源,DeepSeek釋出了DeepGEMM、FlashMLA、TileKernel、DeepSelect等高效能昇騰運算元庫元件和DeepEP分散式通訊庫。昇騰提供了穩定、開放的Ascend C API介面,使能使用者對訪存路徑及計算流水線進行深度調優,完成高效能運算元開發。同時依託開放 Ascend C 程式設計介面與 PTO ISA 底層指令體系,支援了DeepSeek的TileLang程式設計開源工作。昇騰生態兼顧不同開發範式,既支援資深開發者進行精細的手工調優,也支援 TileLang 等高階語言的編譯對接。 華為向DeepSeek團隊提供了聯合定義的昇騰超節點SuperPoD Flex 和UBL128組網方案, 可實現128卡3.2Tbps單層交換Scale-up網路和256K卡兩層交換Scale-out網路,可以支援超低時延推理和前沿基座模型的大規模訓練的需求 。基於全互聯的UBL128超節點,昇騰提供了 ASC-COMM 高效能自定義通訊程式設計庫,支撐使用者通訊運算元與通算融合運算元高效能程式設計。Deepseek團隊開發了高效能 DeepEP 通訊庫,涵蓋EP / CP / PP / FSDP 等模式下的通訊運算元,為更大模型向更大叢集擴展提供支援,互聯頻寬實測達到 Dispatch 375 GB/s 、Combine 347 GB/s 的通訊效能,接近硬體上限。 為支援廣泛的開發者基於昇騰 950 及超節點叢集部署 DeepSeek模型,華為將此次聯合創新的成果在CANN社群開源,包括大EP低延時推理部署、單卡/單機部署、大規模訓練、超長文本KVcache池化與 Agentic RL。其中面向大規模推理場景,基於EP32部署策略,offline推理模式下DeepSeek-V4.1-Flash不帶框架純模型效能可實現 TPOT=5ms,每卡輸出吞吐2469 tokens/s;TPOT=10ms,每卡輸出吞吐5102 tokens/s。 (注:Benchmark資料均基於Offline推理模式採集,不包含Serving排程和框架負載均衡影響。ContextLength = 128K,Dspark 投機接受率 0.85,profiling連結詳見附錄:DeepSeek-V4.1-Flash超節點部署推理最佳化實踐) 基承其本,算展其用。 華為昇騰平臺將與Deepseek等前沿模型團隊,持續深耕芯模協同,聯合創新。以AI算力底座承載模型能力,深度適配,雙向奔赴,打通推理到訓練的全鏈路,攜手打造開放、高效、易用的AI軟體生態。 附開源參考實踐和技術報告連結: 通訊程式設計體系:基於UB memory和URMA通訊程式設計介面的通算並行運算元開發實踐: https://gitcode.com/cann/cann-recipes-infer/tree/master/docs/models/deepseek_v4_1/deepseek_v4.1_asc_comm_tech_report.md 基於Agent-Friendly運算元程式設計範式CANNBot-DSL的高效能融合運算元開發實踐: https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek_v4_1/deepseek_v4.1_cannbotdsl_operator_guide.md DeepSeek-V4.1-Flash超節點部署推理最佳化實踐: https://gitcode.com/cann/cann-recipes-infer/tree/master/docs/models/deepseek_v4_1/deepseek_v4.1_flash_cann_tech_report.md DeepSeek-V4.1-Flash單機部署低時延推理最佳化實踐: https://gitcode.com/cann/cann-recipes-infer/tree/master/docs/models/deepseek_v4_1/deepseek_v4.1_low_latency_tp_guide.md DeepSeek-V4.1-Flash 單卡部署推理最佳化實踐:https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek_v4_1/dsv41-flash-950-single-card.md 基於PyTorch原生框架的DeepSeek-V4.1-Flash模型預訓練實踐: https://gitcode.com/cann/cann-recipes-train/blob/master/docs/llm_pretrain/ascend950_superpod_moe_pretrain_system_reference.md DeepSeek-V4.1-Flash模型低精度量化訓練實踐:https://gitcode.com/cann/cann-recipes-train/tree/master/docs/llm_pretrain/ascend950/low_precision_training.md DeepSeek-V4 DSpark草稿模型昇騰訓練實踐:https://gitcode.com/cann/cann-recipes-train/tree/master/llm_sft/DeepSpec DeepSeek-V4 單機LoRA 微調實踐:https://gitcode.com/cann/torchtitan-npu/blob/master/docs/feature_guides/deepseek_v4_lora.md 基於鯤鵬CPU、昇騰950、靈衢協同的Agentic RL訓練實踐:https://gitcode.com/cann/cann-recipes-train/tree/master/docs/llm_rl/kunpeng_ascend_agentic_rl_infrastructure.md 鯤鵬CPU對AgentENV的適配與最佳化實踐: https://gitcode.com/KunpengSDK/agentENV/blob/main/agentenv-kunpeng-optimization-practice.md 推理模型最佳化Agent 部署調優實踐 https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/agent/DeepSeekV4.1-Flash-Model-Agent.md AMCT 低精度量化Agent量化實踐: https://gitcode.com/cann/amct/tree/master/examples/models/deepseekv4.1/DeepSeekV4.1-Flash-Quantization-Agent.md TileLang 運算元Agent開發和最佳化實踐: https://gitcode.com/cann/cannbot-skills/tree/master/plugins-official/tilelang-op-orchestrator 本文由華為提供,量子位獲授權轉載,觀點歸原作者所有。 版權所有,未經授權不得以任何形式轉載及使用,違者必究。 華為 量子位的朋友們 正行創新聯合創始人楊宇欣正式亮相:出任總裁,負責全球業務拓展 2026-09-29 DeepSeek知乎獨家發文,首次公開V4.1 Agent訓練“大本營”DSec 2026-09-30 成立一年完成5輪融資,諾因智慧再獲數億元,累計超10億元 2026-09-29 從真機到世界模型,具身智慧正在補一條看不見的資料產線 2026-09-24 相關閱讀
由 claude-code/sonnet 自動生成