PCIe顯示卡被低估了！核心補齊+通訊重構，DeepSeek推理吞吐翻近7倍
https://www.qbitai.com/2026/09/496925.html📌 PCIe 顯示卡被低估了！軟體重構讓 DeepSeek 推理吞吐衝上近 7 倍
TL;DR：是石科技用軟體最佳化把 PCIe-Only 顯示卡的 DeepSeek 推理吞吐拉高 6.87 倍，逼近高階 GPU 服務水準。
當大家還在搶購最頂級的 GPU 時，是石科技給出了另一個答案：同一張 PCIe 顯示卡，光靠軟體重構就能把吞吐量從「能跑」推到「好用」，差距比想像中小得多。
🤔 「能跑起來」和「可規模化服務」是兩回事
隨著大模型對算力的需求持續攀升，GPU 採購成本與供給限制愈發嚴峻，AI 推理的競爭也逐漸從「誰買得到最頂級硬體」轉向「誰能把手上的算力用得更值」。很多不在主流開源框架官方驗證矩陣內的 GPU 卡，雖然能完成模型載入、權重下載、服務拉起，實測效能卻遠低於官方宣傳水準：運算子會靜默退回低效通用實現，集合通訊沿用針對 NVLink 調校的參數，顯示記憶體與平行設定也沿用其他硬體的預設值。硬體本身的算力潛力，被軟體層的適配短板鎖住了。
是石科技（METASTONE）定位為獨立第三方全端算力運營商，不綁定特定大模型廠商，提供涵蓋硬體、組網、排程、最佳化與運營的一站式服務。團隊指出其算力叢集 SLA 達 99.95% 以上，目前納管超過 20000P 算力資源，運營 10 多個智算中心、擁有 2 個國家級超算中心，團隊成員曾獲 3 項 Gordon Bell 獎。
🧩 Meta-Infer 推理引擎：算模協同 + 通算重構兩階段
是石科技自研的 Meta-Infer 高效推理引擎，在不改動模型結構與任務語義的前提下，透過純軟體最佳化彌合硬體與框架之間的落差，整套邏輯分兩個階段：
- 算模協同：對齊硬體與框架的後設資料定義、修正頁尺寸配置，解鎖原生高效能運算子路徑；替換不適配硬體的舊計算核心；擴大通訊快路徑的生效閾值。
- 通算重構：對注意力、投影等關鍵運算子做融合，壓縮單步計算耗時；把計算任務與集合通訊做時間重疊；改寫集合通訊邏輯以適配 PCIe 頻寬特性。
在此基礎上，還進一步做平行與容量調校（依 Prefill／Decode 不同階段差異化配置張量平行、上下文平行策略，動態調整顯示記憶體佔比與 KV 快取容量）以及快取複用（依即時生成狀態動態判斷快取複用與更新時機，減少重複計算）。
📊 DeepSeek 系列吞吐提升近 7 倍，影片生成也有 2 倍以上加速
| 模型 | 最佳化前 | 最佳化後 | 提升幅度 |
|---|---|---|---|
| DeepSeek-V4.1-Flash（8 卡 PCIe-Only） | 1,932 tok/s | 13,274 tok/s（中間經算模協同階段達 5,850 tok/s） | 6.87 倍，並支援 1M 超長上下文 |
| DeepSeek-V4-Flash | 14,546 tok/s | 22,584 tok/s | 1.55 倍 |
| GLM5.3 | 3,236.78 tok/s | 6,222.72 tok/s | 1.92 倍（P95 首 token 延遲從 141.6 秒降至 46.6 秒，上下文上限由 27 萬 token 擴至 105 萬 token） |
| MiniMax H3（15 秒參考圖生影片） | 基線 | 端到端生成速度提升 2.48 倍 | 峰值顯示記憶體與原始稠密基線持平 |
與 B300 對比：在相同併發點下，B300 的輸入吞吐約為這臺 8 卡整機的 4.9～5.6 倍（DeepSeek-V4-Flash）與 3.5～4.7 倍（GLM-5.3）。在影片生成的統一整機口徑（單機 8 卡、5 秒／768P／16:9）下，文生影片達 296 條/時、參考圖生影片達 131 條/時，分別約為 B300（439 條/時、225 條/時）的 67% 與 58%。若進一步折算成整機臺數，在近無損的 Ours Cache 方案下，約 2.6 臺需要對應才能打平 1 臺 B300 的文生影片吞吐（參考圖生影片約 2.9 臺）；疊加 Turbo LoRA 之後，這個比例可縮小到約 1.5 臺與 1.7 臺。
💡 同一套方法論在國產 GPU 上同樣有效
Meta-Infer 也在中國國產 GPU 上完成驗證：由於這類硬體同樣不在主流框架的官方驗證矩陣內，需要重新梳理執行路徑，例如顯式啟用面向該平臺最佳化的 NSA 稀疏注意力實現、關閉預設面向 NVIDIA／AMD 平臺的 Shared Expert 融合特性；通訊策略也依推理階段分別配置：Prefill 採用偏吞吐最佳化的 DeepEP normal 模式，Decode 採用偏延遲最佳化的 low_latency 模式，並把 Shared Expert 與 Routed Expert 拆分到兩條 stream 並行提交。單是這項 stream 拆分調整，在 35 組同配置對照測試中就帶來 11.26% 的吞吐提升，說明「能跑起來」在國產算力上同樣只是起點。
⚠️ 差距縮小，但尚未追平
即便經過完整最佳化，這套 8 卡 PCIe 整機在文本推理吞吐上仍落後 B300 約 3.5～5.6 倍，影片生成吞吐約為 B300 的 58%～67%；只有在疊加 Turbo LoRA 等額外手段後，整機臺數換算比才逼近 1.5～1.7 臺打平 1 臺 B300。此外，GLM-5.3 一項的 B300 對比數據，採用的是無損 NVFP4 量化版本（模型權重以 NVFP4 部署，未引入額外精度損失），與其餘比較基準的量化設定並不完全一致，解讀時需留意口徑差異。
🎯 實務啟示
如果團隊手上握有的是不在主流框架官方驗證矩陣內的長尾硬體（尤其是 PCIe-Only、缺乏高速卡間互聯的環境），與其直接加購頂級 GPU，不如先評估軟體層是否已經把硬體潛力榨乾：核心補齊、運算子與通訊重構、平行與容量調校、快取複用這套思路不需要改動模型權重與結構，就有機會在部分推理指標上明顯縮小與高階硬體的差距。
🔗 來源
- 標題：PCIe顯示卡被低估了！核心補齊+通訊重構，DeepSeek推理吞吐翻近7倍
- 作者／機構：思邈，量子位
- 連結：https://www.qbitai.com/2026/09/496925.html
#DeepSeek #GPUInference #PCIe #LLMInference #InferenceOptimization #MetaInfer #AIInfrastructure #VideoGeneration #EdgeCompute #AIHardware
原始資料 量子位 · 收集於 2026-09-24
摘要原文
PCIe顯示卡被低估了！核心補齊+通訊重構，DeepSeek推理吞吐翻近7倍 思邈 2026-09-24 22:17:48 來源： 量子位 1.5臺6000D跑贏1臺B300！ 允中 發自 凹非寺 量子位 | 公眾號QbitAI 隨著大模型對算力需求持續攀升， GPU卡的採購成本、供給約束持續加劇。 AI推理的競爭正在悄然發生轉向：不再單純比拼“誰能夠買到效能最頂級的硬體”，而是轉向“誰可以把手中已有的算力資源用得更值”。 很多GPU卡，開源框架能夠完成模型載入、權重下載、服務拉起，實現“能跑起來”，但實際壓測效能往往遠低於官方宣傳水平。模型本身沒有缺陷，硬體也可正常工作，效能損失的核心，來自模型框架與硬體之間存在的效能鴻溝。 這類GPU卡沒有高速卡間互聯，同時不在主流開源框架官方驗證矩陣中。直接使用社群預設部署方案，會出現運算元自動回退至低效通用實現、集合通訊沿用NVLink硬體的調優參數、視訊記憶體與並行配置沿用其他硬體預設值等一系列問題。硬體本身具備的算力潛力，被軟體層的適配短板所禁錮。 是石科技（METASTONE）是一家“獨立第三方全棧算力運營商”的科技企業。不綁定任何特定大模型廠商，致力於為客戶提供涵蓋硬體、組網、排程、最佳化與運營的一站式全棧算力交付服務。 憑藉源自國家級計算中心的豐富經驗，公司確保了算力叢集高達99.95%以上的安全穩定執行（SLA）。目前，是石科技已納管超過20000P的算力資源，運營10多個智算中心，擁有2個國家級超算中心。團隊成員曾榮獲3項戈登·貝爾獎，具備深厚的超大規模叢集全棧技術服務實力等。 是石科技自研Meta-Infer高效部署引擎，是面向異構加速晶片的企業級高效能大模型推理引擎，嘗試通過純軟體最佳化手段彌合這道硬體-框架之間的縫隙，在不改動模型結構、不修改任務語義的前提下，充分挖掘GPU卡架構硬體的推理能力，為行業提供一種可能性： 依靠軟體最佳化，成本更低的GPU卡，有機會在部分推理業務指標上，逼近原本需要更高階GPU才能實現的服務能力。 Meta-Infer高效推理引擎的整套最佳化邏輯，分為兩大關鍵階段： 算模協同，釋放被硬體差異遮蔽的高效能路徑； 通算重構，打通瓶頸，充分榨乾硬體資源。 最終將沉澱為Meta-Infer高效推理引擎的四項核心能力： 核心補齊、運算元最佳化與通訊重構、並行與容量調優、快取複用 。 1、核心補齊 主流推理框架內建了大量高效能運算元，但對於不在官方驗證清單的長尾硬體，框架不會報錯，只會靜默繞開加速路徑，降級執行低效通用邏輯。 很多高效能核心並非缺失，只是後設資料、頁尺寸、硬體核心適配不匹配，導致無法被觸發執行。 Meta-Infer高效推理引擎，通過核心補齊完成適配修復： 對齊硬體與框架之間的後設資料定義，修正頁尺寸配置，解鎖原生高效能運算元路徑； 替換不適配硬體的老舊計算核心，切換為面向目標硬體深度調優的實現； 擴大通訊快路徑的生效閾值，讓更多規模的通訊任務避開慢速回退邏輯。 △該圖由是石科技提供 以DeepSeek-V4.1-Flash為例，在8張PCIe-Only顯示卡環境的社群Day0基線版本中，輸入吞吐僅1932 tok/s。 經過算模協同階段的修復適配，補齊sparse-MLA Prefill快路徑，替換FP8稠密GEMM慢核心，擴大PCIe-IPC通訊快路徑覆蓋範圍，吞吐直接提升至5850 tok/s。 這一階段的提升，並不是創造全新演算法，而是把硬體與框架本就具備、卻被適配問題鎖住的效能釋放出來。 △該圖由是石科技提供 △該圖由是石科技提供 同樣的思路也復現在DeepSeek-V4-Flash、GLM5.3等模型上：修正注意力頭補齊的冗餘計算，對KV快取標記邏輯做向量化加速，適配硬體特性重構運算元拆分邏輯，拓展CUDA計算圖覆蓋範圍，讓更多請求批次可以進入加速圖執行。僅僅完成算模協同，多款模型就拿到20%-33%不等的吞吐增益。 完成硬體適配、解鎖加速路徑之後，效能瓶頸會進一步轉移到通訊開銷、並行排程、視訊記憶體分配、重複計算等環節。PCIe-Only架構卡間通訊頻寬遠低於NVLink，如果直接套用面向高速互聯硬體的預設策略，GPU會花大量時間等待通訊完成，算力資源被閒置浪費。 2、運算元最佳化與通訊重構 依託運算元最佳化與通訊重構，Meta-Infer高效推理引擎對注意力、投影等關鍵運算元做運算元融合，壓縮單步計算耗時；將計算任務和集合通訊做時間重疊掩蓋，把統計類計算嵌入通訊間隙並行執行；改寫集合通訊邏輯適配PCIe頻寬特性，降低訊息傳輸帶來的等待開銷。 3、並行與容量調優 在此基礎上開展並行與容量調優，放棄框架全域性固化的並行參數，針對Prefill預填充、Decode生成不同執行階段差異化配置張量並行、上下文並行策略；結合硬體視訊記憶體特性，動態調整靜態視訊記憶體佔比、KV快取容量參數，規避視訊記憶體溢位與運算元回退；面向不同業務負載，靈活匹配流水線、張量並行的組合形態，讓高併發短請求、超長上下文請求都可以拿到最優執行配置。 4、快取複用 面向長文本、影片生成場景，快取複用能力提供風險感知的快取複用機制，根據即時生成狀態動態判斷快取複用與重新整理時機，在不犧牲輸出質量的前提下削減重複計算與視訊記憶體讀寫。 在DeepSeek-V4.1-Flash的實踐中，完成算模協同之後，經過通算重構的全套調優：注意力運算元融合、合理裁剪投機解碼草稿長度、計算通訊重疊、區分Prefill/Decode並行策略、重新調校視訊記憶體容量參數，輸入吞吐從5850 tok/s進一步提升至13274 tok/s，整體實現6.87倍吞吐提升，並且支援1M超長上下文。 這套方法論具備通用性，覆蓋文本大模型、長上下文、影片生成多類任務： DeepSeek-V4-Flash：經過全套最佳化輸入吞吐從14546 tok/s提升至22584 tok/s，提升1.55倍； GLM5.3：輸入吞吐自3236.78 tok/s提升至6222.72 tok/s，提升1.92倍；P95首Token時延從141.6秒下降至46.6秒，上下文支援上限從27萬Token拓展到105萬Token； 在相同併發點配對比較下，B300的輸入吞吐約為這臺8卡整機的4.9–5.6倍（DeepSeek-V4-Flash，B300側按SGLang cookbook推薦參數配置，C8輸入33,937 / C256 60,486 tok/s），GLM-5.3 ¹上這一比值為3.5–4.7倍（B300側C8輸入16,384 / C64 23,503 tok/s）。 MiniMax H3影片生成模型：依託稀疏注意力、自研風險感知快取複用、Turbo LoRA多手段組合，15秒參考圖生影片端到端生成速度提升2.48倍，峰值視訊記憶體與原始稠密基線保持持平。 △該圖由是石科技提供 單機8卡整機配置，文生影片最高吞吐達到基線的5.33倍，參考圖生影片達到基線的4.98倍，在不明顯損失畫質的前提下大幅縮短影片生成耗時。 把這組整機吞吐放到頂級GPU的同一把標尺上，差距比直覺更小：在統一整機口徑下（單機8卡、5秒 / 768P / 16：9），文生影片296條/時、參考圖生影片131條/時，對應B300的439條/時、225條/時，分別約為其67%和58%（B300側按SGLang cookbook推薦參數配置，取16例項、每例項Inflight=1的最優檔；其中文生影片對照的是B300的FL2VA結果）。 如果進一步按整機吞吐折算，在幾乎無損的 Ours Cache 方案下，約 2.6臺6000D 可對應1臺B300的文生影片吞吐，參考圖生影片約為 2.9臺 ；在 Ours Cache + LoRA 方案下，這一比例進一步縮小到約 1.5臺 和 1.7臺 。 硬體本身沒有變化，效能差距的縮小主要來自軟體棧、快取策略與模型最佳化方式的組合。 下面這段是參考圖生影片（Ref2VA）任務的同題對照，Dense基線、Cache-DiT、Turbo LoRA與本文方案並排呈現。 國產GPU卡：同一套方法論同樣成立 Meta-Infer高效推理引擎也在國產GPU上完成了驗證。 國產GPU往往也不在主流框架的官方驗證矩陣內，因此需要針對具體硬體重新梳理執行路徑。 例如，注意力模組需要顯式啟用面向該平臺最佳化的NSA稀疏注意力實現，避免回退到低效路徑；Shared Expert融合等預設面向NVIDIA/AMD平臺的特性則需要關閉，以繞開不適配實現。 通訊策略也需要根據推理階段分別配置，Prefill採用偏吞吐最佳化的DeepEP normal模式，Decode採用偏時延最佳化的low_latency模式，並將Shared Expert與Routed Expert拆分到兩條stream中並行提交，以進一步與集合通訊重疊。 其中，僅將Shared Expert與Routed Expert改為並行提交，就在35組同配置配對測試中帶來了 11.26%的吞吐提升 。 這說明對於國產算力而言，“能跑起來”同樣只是第一步。 通過針對執行路徑、通訊模式和並行策略進行系統適配，仍可以進一步釋放硬體的實際推理效能，使其更接近規模化生產服務所需的效能水平。 長尾硬體的新思路：“能跑起來”不是終點 全部最佳化工作均收斂在Meta-Infer高效推理引擎內部，全程無需改動模型權重與模型結構，不改變原有業務任務語義。 對於開源社群大量不在官方驗證矩陣內的長尾硬體，行業過往現狀往往是：新模型釋出，權重可以下載、服務可以拉起，做到“能跑起來”，工作就宣告結束。 但這套實踐證明，“能跑”和“可用、可規模化對外提供生產服務”之間，還存在巨大的軟體最佳化空間。 在硬體供給存在約束、高階算力成本居高不下的大背景下，Meta-Infer高效推理引擎代表了一條新路線—— 不必一味追逐最頂級硬體 ，通過核心補齊、運算元通訊重構、並行容量調優、快取複用這套軟體體系，充分挖掘現有PCIe架構硬體的潛力。 這為大模型推理業務帶來一種值得關注的可能性：藉助深度軟體最佳化，成本更友好的PCIe GPU，有機會在部分推理業務指標上向更高階硬體的服務能力靠攏。 硬體的上限由晶片決定，但硬體能實際發揮出多少能力，則由軟體決定。 ¹ 無損NVFP4量化版本：模型權重以NVFP4部署，保持既有模型計算定義，未引入額外精度損失。 *本文系量子位獲授權刊載，觀點僅為原作者所有。 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 Deepseek 是石科技 顯示卡 清華 思邈 出海Agent“小元AI”入駐騰訊WorkBuddy：找買家寫開發信談生意 2026-09-24 教機器人幹活，光“刷課時”可不夠！靈初這次較真資料質量 2026-09-24 Jev vs Decitron：同為決策AI，為什麼不是一回事？ 2026-09-23 刷影片也能教會機器人幹活！1200億tokens人類動作預訓練，誤差按冪律下降 2026-09-23 相關閱讀
由 claude-code/sonnet 自動生成