AI SSD：大模型推理的儲存範式轉移

來源原標題

AI SSD：大模型推理的儲存範式轉移

作者

思邈

原始標籤

資訊 · AI SSD · 寅譜 · 月之暗面 · 輝達

原始連結

https://www.qbitai.com/2026/08/467840.html

摘要原文

AI SSD：大模型推理的儲存範式轉移 思邈 2026-08-07 10:56:46 來源： 量子位 算力、網路、記憶體與儲存開始圍繞每個Token協同 允中 發自 凹非寺 量子位 | 公眾號 QbitAI 過去兩年，AI基礎設施的競爭主要圍繞GPU數量、晶片算力、HBM頻寬和高速網路展開。 但隨著大模型進入長上下文、複雜推理和多智慧體階段，決定一套系統能夠產出多少有效Token的因素正在變得更加複雜。 GPU依然是算力底座，其實際利用率卻越來越取決於 模型權重、KV Cache和MoE專家能否在正確的時間到達正確的計算節點 。 如果KV Cache無法及時複用，系統就需要重新執行Prefill； 如果MoE專家權重沒有在路由發生前進入記憶體，GPU便可能停下來等待資料； 如果大量推理狀態長期佔據HBM，又會壓縮併發請求和有效批處理的空間。 AI Infra由此正在從“堆疊計算資源”進入“ 協同計算、網路、記憶體與儲存資料路徑 ”的新階段。 月之暗面的Mooncake與NVIDIA推出的CMX，構成了這一變化的兩個代表性訊號。 月之暗面從大規模推理軟體架構出發，把分散在叢集中的CPU、DRAM、SSD和NIC組織為可排程的KV Cache資源； NVIDIA進一步在Vera Rubin基礎設施中建立專門的Pod級Flash上下文層。 二者尺度和實現方式不同，卻共同指向一個趨勢： 推理狀態正在成為AI基礎設施中的一級資源，儲存也開始進入Token生成的即時主鏈路。 Mooncake：把KV Cache變成獨立的基礎設施資源 Mooncake最重要的產業意義，並不只是為Kimi構建了一套新的推理服務系統，更是 改變了大模型基礎設施對“資料”的組織方式 。 傳統推理節點往往把GPU、CPU、DRAM和本地SSD視為一臺伺服器內部的固定資源，KV Cache主要跟隨請求和GPU例項存在；一旦快取被驅逐或請求遷移，已經完成的Prefill計算便可能失去複用價值。 上下文越長，重複計算和昂貴GPU資源的浪費就越明顯。 Moonshot AI與清華大學發表於USENIX FAST ’25的Mooncake採用以KV Cache為中心的分離式架構，將Prefill與Decode部署在不同資源池中，並把GPU叢集中未被充分利用的CPU、DRAM、SSD和NIC組織成分散式KV Cache池。 位於中心的Conductor不再只根據GPU負載分發請求，而是結合KV Cache分佈、快取命中、節點負載以及TTFT、TBT等服務目標，決定快取複用、Prefill執行和Decode排程[1]。 Mooncake的請求流進一步說明了這種變化：可複用的Prefix KV Cache先被送至合適的Prefill例項，新增KV Cache隨模型各層計算持續生成，再與Prefill計算重疊，非同步流送到目標Decode節點；快取到齊後，請求才進入連續批處理。 Mooncake Store負責KV塊的放置、複製、淘汰和生命週期管理，Transfer Engine則通過RDMA、多NIC頻寬聚合與拓撲感知路徑選擇連線不同計算和儲存層[1][2]。 推理系統由此從“給GPU喂資料”轉向“圍繞Tensor生命週期編排整條資料路徑”。 △Mooncake以KV Cache為中心的分離式推理架構：Prefill與Decode資源池通過Mooncake Store、RDMA傳輸引擎和全域性排程器協同工作。 Mooncake論文把這一思路概括為“ 用更多儲存換取更少計算 ”。 根據論文披露，在真實請求軌跡和不同TBT約束下，Mooncake相對於所比較的基線系統提高了59%至498%的有效請求承載能力；論文發表時，其生產系統已運行於數千個節點，每日處理超過1000億Token[1]。 需要強調的是，這些資料反映的是快取、排程、網路與計算協同後的端到端架構收益，並非某一塊SSD的單盤收益。 更值得AI SSD產業關注的是，Mooncake當前官方文件已經把DRAM與SSD/NVMe明確納入多級快取，並給出從記憶體向本地SSD卸載的路徑，即將從記憶體淘汰的物件可在後臺進入SSD，記憶體未命中時再從SSD回讀；資料經過預註冊緩衝區後，由Transfer Engine送往目標DRAM或VRAM[2][3]。 上層系統解決“何時遷移、遷到哪裡”，裝置側仍要解決尾延遲、並行搬運、持續負載、耐久和與推理生命週期協同的問題。 SSD因此不再只是模型啟動前的檔案來源，而成為TTFT、吞吐與服務SLO共同約束的推理資料層。 CMX：NVIDIA在HBM與共享儲存之間增加G3.5層 Agent時代進一步改變了AI基礎設施的最佳化物件。 一次複雜請求不再只是一次模型前向，還可能展開為模型呼叫、工具執行、記憶檢索、資料訪問和多輪推理組成的長鏈路。 KV Cache也由GPU內部的臨時狀態，轉變為需要跨節點移動、共享和複用的基礎設施資料。 GPU能否持續獲得正確的上下文，開始變得與 GPU本身能算多快 同樣重要。 在NVIDIA給出的分層體系中： G1是GPU HBM，用於儲存參與當前Token生成的熱KV Cache； G2是系統記憶體，承擔交換和暫存； G3是本地SSD，用於承接短期可能複用的溫資料； G4則是面向持久化資料的共享檔案或物件儲存。 隨著智慧體上下文延伸至多輪對話、工具呼叫和跨任務狀態，G1至G3的容量很快受到限制，而G4的訪問時延和通用資料服務開銷又不適合頻繁進入Decode路徑[4]。 NVIDIA CMX Context Memory Storage Platform由此在二者之間增加了一個被稱為“G3.5”的層級：通過乙太網路連線、以Flash為介質、面向KV Cache最佳化的Pod級上下文記憶體。 它主要承載短暫、派生、可重新計算但延遲敏感的推理上下文，而不是取代用於長期知識、日誌和業務記錄的G4持久化儲存[4]。 △BlueField-4橫跨Rubin GPU計算、Vera CPU服務與BlueField-4 STX共享KV Cache儲存節點，構成統一的AI Factory資料路徑。 CMX的意義並不只是給GPU Pod外掛一組大容量SSD。 Dynamo的KV block manager與NIXL負責KV塊跨層編排和搬移； DOCA Memos提供面向上下文快取的通訊、後設資料、放置與共享能力； BlueField-4把KV I/O、佇列、預取、完整性與加密等操作下沉到靠近網路和NVMe Flash的位置； Spectrum-X Ethernet則提供RDMA資料通道[4][5]。 當Decode即將使用某組KV塊時，系統可以提前將其從CMX預置到系統記憶體或GPU HBM，以減少GPU等待和歷史上下文重算。 據NVIDIA披露，CMX可在單個GPU Pod內提供PB級共享上下文容量，面向長上下文和智慧體負載的持續Token吞吐與功耗效率最高可達到傳統儲存方案的5倍[4]。 這一資料屬於廠商釋出口徑，實際收益仍會受到模型、快取命中率、網路和排程策略影響；但CMX釋放的產業訊號已經十分明確 Flash開始被GPU平臺廠商定義為AI推理記憶體體系中的正式一層。 Mooncake與CMX並非同一種產品。 Mooncake主要是一套分離式推理、資料傳輸和分散式快取體系，CMX則是Pod級上下文儲存平臺。 但兩者共同說明，AI Infra正在形成新的系統邊界： 計算晶片負責執行運算元，網路連線資源，儲存則需要參與推理狀態的放置、遷移和複用 。 AI Infra呼叫SSD之後，SSD自身也需要發生變化 把SSD納入推理基礎設施，並不意味著任意一塊傳統SSD都能穩定承擔Token生成鏈路中的任務。 傳統SSD主要圍繞順序頻寬、隨機IOPS、可靠性和單位容量成本進行設計；LLM推理需要的卻是帶有嚴格時序約束的資料供應。 KV Cache在Prefill階段集中生成，並在後續對話或智慧體步驟中被再次讀取；MoE模型在每一層只啟用部分專家，卻需要儲存遠大於當前視訊記憶體或記憶體容量的專家權重。 資料即使最終能夠從SSD讀出，只要沒有趕上模型的計算視窗，GPU、NPU或CPU仍會進入等待。 這種矛盾還會延伸至SSD內部。NAND Flash以頁為單位讀取、以塊為單位擦除，FTL需要執行地址對映、垃圾回收和磨損均衡，持續寫入KV Cache可能帶來寫放大、壽命壓力和難以預測的尾延遲。 傳統LBA排布也不瞭解模型層、KV塊、MoE專家及其執行次序之間的關係；邏輯上相關、即將共同使用的資料，在物理介質中未必形成適合並行讀取的佈局。 因此，AI SSD不能只用“更高峰值頻寬”定義。 △圖片為AI生成 它至少需要解決兩個層面的問題： 一是提供更低延遲、更高耐久性和更穩定尾延遲的介質與I/O能力； 二是通過主控、韌體、中介軟體乃至推理執行時的協同，讓SSD參與資料分層、快取管理和預測式預取。 市場上的相關產品也由此逐漸分化為兩類。 第一類是 AI負載強化型企業級SSD ，仍保持標準塊儲存裝置形態，但圍繞AI叢集的高頻快取、模型載入和大容量資料調整效能、耐久性與容量指標。 英韌科技洞庭-N3X採用低時延、高耐久介質，重點面向KV Cache卸載和高頻臨時資料讀寫[6]； 華為OceanDisk LC 560則以超大單盤容量和順序讀取能力承載模型、語料和向量資料[7]。 △AI負載強化型企業級SSD的代表性產品：英韌科技洞庭-N3X與華為OceanDisk LC 560。 這類產品首先解決AI基礎設施底層的I/O供給問題。 第二類“ 推理參與型AI SSD ”則更進一步：它們試圖讓SSD從被動響應塊裝置命令，走向參與模型權重、KV Cache和MoE專家的執行時管理。 群聯、江波龍以及寅譜—聯芸，是當前較有代表性的三條路線。 三條推理參與型路線：節點快取、儲存側智慧與跨層協同 群聯：用專用快取SSD和中介軟體擴展GPU執行空間 群聯aiDAPTIV的核心產品形態，是專用快取SSD、記憶體管理中介軟體和工具鏈的組合。 其目標不是單獨提供一塊高效能儲存盤，而是把SSD組織成GPU視訊記憶體之外的高容量快取層。 當模型權重超過VRAM容量時，系統把權重切分為資料塊，根據執行進度在SSD與VRAM之間流式搬運，使當前需要計算的部分留在GPU附近，暫時不活躍的資料下沉至Flash。 SSD還可以儲存被視訊記憶體驅逐的KV Cache，後續出現相同上下文時再將其取回，減少重新執行Prefill的成本[8]。 從AI Infra角度看，群聯路線的特點在於產品邊界清晰： 專用高耐久快取盤負責容量和持續寫入，中介軟體負責資料交換，經過驗證的工作站或伺服器配置負責部署交付 。 群聯官方資料給出的專用快取SSD耐久性最高達到100 DWPD[8]。 這一方案把雲側常見的“以儲存擴展計算記憶體”思路壓縮到單機和小型叢集中，形成較直接的部署路徑。 江波龍：讓SPU成為儲存側排程節點 江波龍的路線更強調SSD主控自身的處理能力。 其架構以SPU作為硬體執行層，以iSA作為軟體決策層：iSA感知推理負載並制定資料分層與預取策略，SPU負責儲存控制、硬體壓縮、快取記憶體和具體的資料搬運[9]。 根據江波龍公開材料，其WM8500 SPU採用5nm工藝，並引入存內無失真壓縮、HLC高階快取和混合NAND排程。 HLC用於讓SSD承接原本儲存在DRAM中的溫冷資料，混合NAND則按照冷熱程度在快取記憶體區和大容量介質區之間分配資料[9]。 這一方案體現的是“ 儲存側智慧化 ”：控制器不再只執行主機發出的標準讀寫請求，也開始承擔壓縮、冷熱識別、快取劃分和排程執行，重點面向AI PC、工作站和端側智慧裝置。 寅譜-聯芸：從AI Infra反向定義SSD的資料路徑 寅譜（Infplane）與聯芸（Maxio）構成了另一種組合。 聯芸提供NAND Flash、SSD主控、韌體及產品適配基礎；寅譜則從大模型推理晶片、近存計算、作業系統和主機板級協同控制出發，將計算側的資料分層與排程技術延伸到SSD。 在本文重點討論的群聯、江波龍和寅譜-聯芸三條路線中， 寅譜是唯一一家以AI Native身份而非SSD Native身份進入AI SSD的企業 。 它並非從傳統SSD、NAND模組或儲存主控業務向AI延伸，而是 以AI推理、計算晶片和系統協同為起點 。 這種背景使其對AI Infra的理解首先來自模型執行、資料流和排程，而不是從單盤容量或峰值IOPS出發。 寅譜推行的software-defined chip和近存計算，並不是單純依靠軟體代替晶片，而是讓晶片能力通過主控、韌體、執行時和系統軟體之間的協同持續被定義。 △圖片為AI生成 在AI推理中，資料是否需要駐留、何時預取、放在哪一級介質，以及如何與模型執行順序匹配，往往無法只由一顆傳統SSD主控獨立決定。 寅譜-聯芸方案因此嘗試貫通計算側快取體系、middleware、firmware、controller和NAND介質管理。 該方案圍繞MoE專家、KV Cache和數值精度三個維度進行資料切分、冷熱分層、並行搬運和預測式預取：一方面根據模型執行過程排程專家權重與KV Cache，另一方面將模型資料中的不同精度部分按照訪問熱度進行特殊存放和讀寫。 其設計目標還包括減少對模型檔案和主流推理框架的侵入，並適配不同CPU、GPU、NPU及SSD模組形態。 這條路線的AI Infra屬性相對突出：它不把AI SSD理解為孤立裝置，而是 把SSD視為雲側、邊緣側和端側推理資料路徑中的可排程層級 。 相應地，它需要同時處理模型、執行時、作業系統、韌體、主控和NAND之間的介面，軟硬體協同範圍更廣，研發與驗證成本也更高。 聯芸已公開提出，AI推理正在推動SSD主控從傳統“資料通道”走向面向Token成本的智慧排程[10]； 其消費級與工業級主控產品基礎，以及向AI推理主控方向的延展，也為相關技術進入不同模組和整機形態提供了產業化條件[10][11]。 △儲存側推理參與型AI SSD探索：群聯aiDAPTIV快取SSD、江波龍SPU＋iSA方案以及寅譜-聯芸AI SSD方案。 AI SSD競爭，最終會成為完整資料路徑的競爭 群聯、江波龍和寅譜—聯芸並不只是採用了三種不同的SSD技術，它們也代表三種不同的AI基礎設施切入方式。 群聯從專用快取盤和中介軟體切入，強調可部署的視訊記憶體與記憶體擴展； 江波龍從SPU和iSA切入，把更多排程與壓縮能力放入儲存側； 寅譜—聯芸則從計算與儲存協同切入，試圖讓SSD的資料組織方式更直接地匹配模型執行過程。 三者並非簡單的替代關係，也可能分別適用於工作站、AI PC、邊緣裝置、企業節點和雲側基礎設施中的不同位置。 △AI SSD在LLM推理資料路徑中的作用，以及主要廠商技術路線與推理環節的對應關係。 從更長的產業週期看，AI SSD的門檻不會只體現在某個主控規格或某項峰值效能。 真正決定產品能否進入推理主鏈路的，是企業能否建立從NAND介質、FTL、韌體、驅動、中介軟體到推理框架和整機驗證的完整協作體系。 模型相容性、快取命中率、尾延遲、預取準確率、寫入壽命和跨平臺適配資料，都需要通過長期工程實踐積累。 Mooncake和CMX已經在叢集與Pod層面說明，推理狀態值得被單獨組織和排程；AI SSD則把這一變化進一步帶到節點和裝置內部。 它不會取代HBM、VRAM或DRAM，而是推動一套更細緻的儲存層級形成：最熱的資料留在計算晶片附近，溫資料進入DRAM或高效能Flash，冷資料下沉至容量更大、成本更低的層級，並由軟體和硬體共同決定資料遷移時機。 當AI產業從模型能力競賽走向大規模應用，基礎設施最終需要回答的不只是擁有多少FLOPS，還包括每瓦電力能夠生成多少有效Token、每張GPU有多少時間真正參與計算，以及一段已經計算過的上下文能否低成本複用。 沿著這一方向，算力、網路、記憶體和儲存之間的邊界將繼續變得模糊，AI SSD也有機會從外圍裝置進入AI Infra的核心資料路徑。 參考文獻 [1] R. Qin et al., “Mooncake: Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot,” 23rd USENIX Conference on File and Storage Technologies (FAST ’25), 2025. [2] Mooncake Project, “Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving,” Official GitHub Repository, accessed 2026-08-05. [3] Mooncake Project, “SSD Offload Design,” Mooncake Official Documentation, accessed 2026-08-05. [4] NVIDIA, “Introducing NVIDIA BlueField-4-Powered CMX Context Memory Storage Platform for the Next Frontier of AI,” 2026. [5] NVIDIA, “Scaling Agentic AI Factories Through Extreme Co-Design with NVIDIA BlueField,” 2026. [6] 英韌科技，“從N3X到Gen6：英韌科技如何用三大要素打造國產AI SSD”，2026. [7] Huawei, “Huawei OceanDisk LC 560 SSD Data Sheet,” 2025. [8] Phison Electronics, “How aiDAPTIV+ Works.” [9] 江波龍，“SPU與iSA”，2026. [10] 聯芸科技，“CFMS 2026｜聯芸科技：AI推理時代，儲存主控芯片價值躍遷”，2026. [11] 聯芸科技，“PCIe介面SSD控制晶片” 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 AI SSD 寅譜 月之暗面 輝達 思邈 openJiuwen釋出業界首個企業級分散式蜂群架構，聯合郵儲成功落地金融生產環境 2026-08-07 別再吹AI生圖了，不能圖層編輯的AI都是“畫餅” 2026-08-05 開源版Claude Science來了！零依賴、MIT協議，內建30+項科研Skills 2026-08-04 SIGGRAPH時間檢驗獎揭曉：這項研究，提前十年押中了物理AI 2026-07-31 相關閱讀