通用能力不打折，空間具身智慧斷層領先！ZDTaichu5.0-9B國產開源，躋身全球多模態第一梯隊

來源原標題

通用能力不打折，空間具身智慧斷層領先！ZDTaichu5.0-9B國產開源，躋身全球多模態第一梯隊

作者

鹭羽

原始標籤

資訊 · 首頁輪播 · 多模態 · 大模型 · 空間具身

原始連結

https://www.qbitai.com/2026/09/490839.html

摘要原文

通用能力不打折，空間具身智慧斷層領先！ZDTaichu5.0-9B國產開源，躋身全球多模態第一梯隊 鷺羽 2026-09-16 21:08:20 來源： 量子位 九大空間測試10B規模通用模型中8項第一 鷺羽 發自 凹非寺 量子位 | 公眾號 QbitAI 來了！這一次， 國產多模態 在物理世界也夯起來了—— 九大國際權威空間理解基準測試中， 八項斷檔第一 ，通用能力還能不打折。 紫東太初最新開源的通用多模態大模型 ZDTaichu5.0-9B ，直接把10B以下通用模型空間具身的天花板又往上頂了一大截。 這裡可能就有朋友要問了，讓多模態看懂真實世界，為啥值得單拎出來說？ 一個字： 難！ 過去的多模態模型，已經能把一張圖片理解得頭頭是道，但一旦走進真實物理世界，空間理解與行動能力往往就跟不上；而一些模型為了補足空間能力，又不得不以犧牲通用能力為代價。 能同時跑通這兩件事的模型寥寥無幾，效果還突出的更是鳳毛麟角。 紫東太初就是其中之一，ZDTaichu5.0-9B堪稱 全能 。 眼見為實，咱們直接上效果。 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg 這是一段由 ZDTaichu5.0-9B 控制的美工刀具身收納演示。 如果讓人來做，應當是個非常簡單的過程： 拉開抽屜→放進去→再關閉 。但具身不一樣，一連串的動作背後都是相當細緻的空間判斷。 刀柄在哪裡？抽屜狀態如何？夾爪有沒有對準？ 每一步都要承接住上一步帶來的變化，動作才能看起來順，這對模型能力的考驗是極為苛刻的，而ZDTaichu5.0-9B已經能完成 複雜的空間理解和高層任務規劃 。 與此同時，對於這個只有9B大小的模型，其圖文理解、文字識別、數學推理和程式碼能力也依舊穩居 第一梯隊 。 通用能力不降級，空間具身能力向上突破。 很好奇，究竟是如何做到的？ 空間具身+多模態雙領先 在回答這個問題之前，咱們不妨再多看幾個效果感受感受。 先來幾道空間具身題目嚐個鮮。 從影片目標定位到三視角推理，空間判斷穩準狠 第一道題 「找東西」 ：從左至右，找到第二個銀色盒子。 這個 空間感知任務 對於機器人來說，是後續執行任務的大前提。指錯了，後面的抓取動作再準確，執行的也是另一個任務。 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg △實測由紫東太初完成 畫面中，檯面擠滿杯子、收納容器和各種雜物，干擾項較多。模型得同時讀懂銀色這個關鍵屬性、盒子這個物件，以及從左到右第二個這層空間排列關係。 從對比演示中看，ZDTaichu5.0-9B給出的 歸一化座標 （237,226）最為精準，落在目標標註區域內。 接下來難度升級，不僅要找得對，也要看得準。 這是道考驗複雜空間推理的 「看位置」 題。 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg △實測由紫東太初完成 輸入的是同一房間的三個視角。模型需要設想自己移動到綠框窗簾所在的位置，面向藍框沙發，再判斷紅框櫃子相對自己的方位。 其中模型得把不同畫面中的物件一一對應起來，再根據新的觀察位置和朝向轉換參照系。 ZDTaichu5.0-9B給出了右前方， 預測完全正確 。 再往前一步，空間判斷還得回答哪裡具備操作條件，給予機器人接下來的操作以方便。 比如這道 「找空位」 ，要求在最右側杯子的杯柄方向上，找一塊空閒區域。 認出杯子只是開始，隨後還要確定杯柄朝向，檢查旁邊是否被其他物體佔用。 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg △實測由紫東太初完成 結果也不出所料，ZDTaichu5.0-9B依舊穩穩 落入正確區域 。 當我們把三個例子放在一起看，它們分別對應目標選擇、參照系轉換和互動條件判斷，都在機器人執行真實物理任務中扮演關鍵要素。 換言之，這些基礎能力都決定著 具身能否從一句任務指令到真正可執行 。 再來看 完整成績單 ，模型優勢就更加清晰了。 在所列的10B檔位開閉源模型中，ZDTaichu5.0-9B幾乎是 斷層領先 。 比如差距較大的MindCube-tiny，ZDTaichu5.0-9B的得分是78.27分，Gemma4 8B-E4B、Gemini 3 Pro和Grok 4分別是48.8462、70.87和63.56。 整個榜單把 空間感知、三維推理、多視角變換、具身互動 都囊括在內了，可謂是面面俱到，足見ZDTaichu5.0-9B已徹底看懂物理場景該怎麼操作。 雙線突破，通用能力不降級 考完空間能力之後，另一個重要問題隨之而來： 通用能力 還hold得住嗎？ 這裡同樣有份基礎能力的成績單。 圖解理解基準AI2D達到 91.48分 ，僅次於Gemini 3 Pro，高於其它所有對照模型。 WeMath為75.9分，同樣領先；MathVista Mini為84.5分、OCRBench為85.5分，表現頗具競爭力。 除此之外，ZDTaichu5.0-9B在 Agent與文本任務 上也依舊錶現突出，尤其是程式碼成績。 這些能力具體怎麼組合起來用， 科研Agent 的阻尼振子求解demo給出了直觀展示。 該問題要求Agent組織解析求解與Python/SciPy數值計算，並對照兩種結果，最後生成相空間圖、位移與速度曲線，以及分析報告。 ZDTaichu5.0-9B在整個過程中也絲毫沒有掉鏈子，在問題理解、程式碼執行、結果核對和圖表輸出四個階段子任務上都完美實現連續銜接，最後輸出非常完整。 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg 事實上，這對於同一個9B模型是相當不容易的。 要同時兼顧 空間具身能力與通用能力 兩條線，背後要解決的有很多，例如資料如何組織，以及複雜判斷時算力怎麼分配。 9B多模態大模型的空間具身能力，是怎樣練成的？ ZDTaichu5.0-9B給出的解法貫穿 訓練 和 推理 兩部分。 全棧資料生產管線：把通用能力、Agent能力以及空間具身能力全部練進模型 紫東太初先是圍繞這一需求，組織了一套 經過全流程驗證 、 可複用 、 可遷移 的資料工程鏈路。 整體包括三個漸進式成長階段： Step 1：預訓練資料管線。 這一步資料覆蓋開源圖文、網頁結構化文件、公開影片多視角素材和模擬渲染三維場景。 原始素材進入管線後，先通過 感知雜湊 與 URL 去重，再過濾低清晰度、圖文不相關等較差的樣本，隨後進行內容重寫解析和影片抽幀描述，最終打包組織成可訓練的圖文與時序輸入。 最終建立的是視覺、語言、時序和空間概念之間的對齊聯絡。 Step 2：監督微調資料管線。 隨後訓練開始覆蓋完整任務。 開源SFT指令、真實業務問答、空間具身案例，以及Agent工具呼叫軌跡，都被組織成多輪對話、多圖和影片序列。 其中針對 具身樣本 ，管線還會檢查影像、問題、物件關係和操作約束是否一致。還是以開頭的美工刀收納舉例，如果圖中抽屜關著，模型就不能直接要求夾爪往裡放東西。 帶步驟的思維鏈 也要經過拒絕取樣、格式和一致性校驗。這樣進入訓練的，才是有視覺依據、能解釋操作順序的任務樣本。 Step 3：高質量退火+GRPO強化學習資料管線。 最後一步繼續針對短板最佳化。 團隊為資料建立 能力域-難度-質量標籤三維自動標籤系統 ，為模型篩選高資訊量樣本。 值得注意的是，評測資料不會直接作為訓練樣本，標籤也只是用於提供能力分類與樣本篩選的參照。 GRPO 則把答案是否正確、空間座標是否命中、輸出格式是否合規，都通通轉化成可自動校驗的獎勵訊號，讓模型沿著具體反饋繼續改進。 於是在層層遞進之後，物體識別、空間關係和任務約束都開始逐步連線起來。 未來即使是企業自己的車間錄影、實驗操作記錄和模擬素材，也都可以通過這條路徑轉化成訓練樣本。 內建自適應迴圈推理：把算力用在真正難的判斷上 但訓練資料只是打好了地基，再往上， 每次推理的難度也會隨著任務變化 。 比如有些畫面中目標清楚、關係簡單；有些任務則要整合多個視角，還要判斷遮擋和操作前提。 顯然，後者更需要 額外計算 來修正判斷。 ZDTaichu5.0-9B為此引入了 內建自適應迴圈推理 ，讓模型根據預測的不確定性，決定當前Token是否需要再算幾輪。 具體來說，模型先完成一次標準前向計算，得到Token預測分佈和隱層狀態。 熵門控 隨後評估預測的不確定程度，分佈越分散，意味著模型對輸出的把握越小。 確定性較高時，模型直接輸出；遇到 高不確定性節點 ，就在內部重複執行部分層塊計算，迭代調整隱層表徵，為當前判斷 增加計算深度 。 由於這段額外計算發生在模型前向傳播內部，也無需為此呼叫外部工具。 當然，到底算幾輪也要有約束，總不能無限制發散下去。 ZDTaichu5.0-9B配套了 三重穩定化工程設計 ，以致於模型能夠讓算力合理傾斜： 1、阻尼更新： 控制每輪修正幅度，避免特徵漂移； 2、雙重停止判據： 同時監測輸出分佈的KL散度和隱狀態殘差，判斷結果是否趨於穩定； 3、軌跡讀出與狀態回滾： 保留迭代中間軌跡，並從中選擇風險最低的表徵結果。 有趣的是，這套按任務需要調節推理投入的思路，在最近大火的 GPT-6 Astra 上也有所體現。 OpenAI官方文件顯示，Astra新增支援調節推理投入，並允許在對話過程中為困難任務提高推理投入，反之降低常規任務投入。 相似的路線架構，說明按需分配推理計算已經是國內外新的共識。 ZDTaichu5.0-9B 展現出高度對齊的技術前瞻性，也是在 開源模型 中率先落地這一機制。 △圖片擷取自OpenAI官方文件 內外迴圈協同：把單步空間判斷接成連續任務 不過，光判斷好當前一步還不夠，模型還要接著看 行動之後發生了什麼 。 因為具身的一次單獨行動，環境狀態就會隨之改變。 模型的 內部迴圈 僅僅是圍繞當前輸入改善感知與推理， 外部任務迴圈 還要接收新觀測和執行反饋，更新任務進展。 比如再來看個乳酪盒放入碗內的影片，雖然是模擬演示，但整個過程也相對直觀： 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg 模型首先在工具輔助下識別目標區域，組織接近、抓取、抬起、移動、放下和退出；新的觀察結果繼續影響後續操作，最終確認乳酪盒留在碗內。 所以在實體系統中，對模型的要求非常之高，模型不僅要承擔語義理解、空間判斷和高層規劃，還要保證外部系統正確執行控制任務。 好在 內外兩套迴圈 實現了這一點，讓每次行動都能成為下一輪判斷的新條件，顯著提升長程任務的成功率。 從實驗臺到搬運現場，無需重新造輪子 此時讓我們再回到最初的問題： 多模態如何看世界？螢幕內外如何銜接？ ZDTaichu5.0-9B給出了實實在在的答案。 對於橫在圖文模型面前的三座大山，包括 物件認不準、方位難轉換、進度跟不住 ，均逐一破解。 模型再也不是 “光說不做假把式” ，通用跑分好看，真實物理場景跑分更好看。 換句話說，這才是大家心心念唸的全能學生，不偏科、兩端都均衡。 這還只是其一，更重要的是，它 開源 ！ 開源意味著啥？產業界可以自己 「造」 。 ZDTaichu5.0-9B不止把權重開放了，連同整套經過工業級驗證的資料生產管線詳細方案也一併開啟，企業就能用自己的資料和機器人繼續訓練，迭代出更個性化的空間多模態模型。 團隊也能 少做重複工程 ，把研發精力更多地放在自身任務的定義、適配和評測上。 這也算另一種產業意義的自適應迴圈推理了。 從榜單評測走到實體任務驗證 ，ZDTaichu5.0-9B也把空間理解能力帶入了科研自動化和智慧製造的具體流程。 比如在 科研場景 ，試管轉移任務集中展示了模型推理連續性。 兩支試管經過抓取、雙臂交接和入架，位置與姿態不斷變化。模型需要持續區分樣品身份，判斷哪支已經入架、哪支仍待處理，並據此安排下一步操作。 樣品身份、空間位置和任務進度由此被關聯起來，為自動化科學實驗平臺提供上層任務編排與狀態記錄能力。 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg 面向機臺上料的工件轉移演示，則呈現了機器人從料架抓取工件、轉向搬運，再放置到工作臺的完整過程。 其意義在於，模型把工單中的目標和位置要求，轉化為隨現場狀態持續更新的操作規劃。 將目標識別、搬運銜接和放置檢查串成連續流程，為 製造場景 提供可進一步適配的高層規劃基礎。 影片連結：https://mp.weixin.qq.com/s/aBak5FZaC6nhGpwkeL8hAg 對於開發者，ZDTaichu5.0-9B已經交出了一份 早期驗證答卷 ，後續完全可以基於它繼續往前推，推得快還很準。 而對紫東太初，這次釋出意味著通用多模態能力進一步向空間理解與具身任務規劃延伸，其產業價值也將在更多具體任務中接受檢驗： 換一批工件、調整一次物件位置、增加一個操作前提，模型還能否認準物件、更新狀態，並組織正確的下一步…… 應對這些變化的能力，將成為衡量模型能否適應真實場景的重要尺度。 ZDTaichu5.0-9B用開源模型、資料管線、技術路徑和實體案例重新開了個好頭，作為基座，勢必會讓更多通用多模態模型跨越物理門檻。 其實具身智慧走到今天，會聊天的模型比比皆是，早就不缺。 缺的是 能看懂物理世界並在真實任務中持續維持狀態的模型 。 以前有，但還不夠。 紫東太初ZDTaichu5.0-9B是一次從0.001到1的突破，是從數字理解邁向物理具身智慧的關鍵落地。 然後一生二，二生三，三生萬物。 Blog連結： https://taichu-ai.github.io/ZDTaichu5.0-9B GitHub連結： https://github.com/Taichu-AI/ZDTaichu5.0-9B HuggingFace連結： https://huggingface.co/TaichuAI/ZDTaichu5.0-9B ModelScope連結： https://www.modelscope.cn/models/TaichuAI/ZDTaichu5.0-9B 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 多模態 大模型 空間具身 鷺羽 今年外灘最特別Agent：能幹活，能陪聊，還會朋友圈拉黑你 2026-09-13 現場圍觀金融AI決賽，大廠挑人的邏輯我悟了 2026-09-08 金融AI的年度大考交卷了：2萬名選手、30+家機構、百億級資料開源 2026-09-04 世界生成模型來了3D頭部玩家，可進入生產管線的場景級生成時代來臨！ 2026-09-03 相關閱讀