全球首個!銀河通用新框架僅需人類影片即可部署,特斯拉蚌埠住了
https://www.qbitai.com/2026/07/451403.html📌 【銀河通用】全球首個具身智慧測試時後訓練框架 WAM-TTT 釋出
TL;DR:WAM-TTT 讓機器人僅靠人類影片在部署階段適應新場景,無須重訓。
機器人在訓練場搬箱子精準無比,換個環境就擺手不會——這種「部署泛化衰減」一直是具身智慧規模化的死穴。如今銀河通用宣稱,他們第一次把大語言模型的測試時訓練(Test-Time Training, TTT)路線走通到物理世界。
🤔 具身智慧卡在「換場景就失靈」
現階段整個具身智慧行業受限於同一核心痛點:同一項技能訓練時精通、部署時失靈。客戶每換一個新部署點位,都得重新採集資料、重新適配模型,又貴又慢,難以規模化落地。
🧩 WAM-TTT:把人類影片寫進臨時記憶再動作
銀河通用釋出面向具身智慧大模型的測試時後訓練框架 WAM-TTT(World-Action Model Test-Time Training),首次將 TTT 範式從 NLP 與 LLM 遷移到機器人控制。它基於原始人類實拍影片、在推理階段完成適配訓練,無需重新預訓練,也無需大量機器人軌跡資料與人類動作標註。
框架底座是預訓練好的世界動作模型(World Action Model, WAM),內部由影片專家與動作專家組成:前者理解畫面發生什麼,後者生成機器人動作,兩者透過聯合注意力(joint attention)通訊。WAM 主體權重全程凍結,學習只發生在一塊獨立的小型引數儲存單元 fast-weight memory(快速權重記憶)中。
📊 兩階段流程:離線對齊、線上只更新記憶
- Meta-Training(離線元訓練):藉助成對採集的人類與機器人演示資料,透過 Key-Value 向量對自適應記憶,實現人類視覺線索與機器人行為對齊。
- Test-Time(線上測試時訓練):提供一段未標註的人類 RGB 影片,主 WAM 鎖死,僅更新輕量化記憶模組引數;完成後將操作邏輯送入相機觀測畫面,模型輸出機械動作。
作者以廚師類比:機器人如已出師廚師,看顧客給的教學影片後,不逐幀模仿,而是把要求寫到「便籤」(fast-weight memory),呼叫既有廚藝把菜做出來,既適應新任務也不丟失原能力。
💡 聲稱的四點突破之一:擺脫軌跡資料依賴
摘要指出,對比傳統架構,WAM-TTT 實現四點突破,其中第一點為大幅降低機器人軌跡資料依賴,部署階段可擺脫對昂貴人工遙運算元據的需要。其餘三點與具體實驗資料摘要未提及,故不贅述。
🎯 實務啟示
對機器人落地團隊而言,若該框架如所述,僅靠人類實拍影片即可在部署端適配,將顯著減少每個新點位重採資料與重訓的成本。工程上可關注其「主權重凍結、只訓練記憶模組」的輕量化思路,作為解決現場泛化問題的參考架構。
🔗 來源
- 標題:全球首個!銀河通用新框架僅需人類影片即可部署,特斯拉蚌埠住了
- 作者/機構:鷺羽 @ 量子位
- 連結:https://www.qbitai.com/2026/07/451403.html
#EmbodiedAI #RobotLearning #TestTimeTraining #WAMTTT #Galbot #WorldActionModel #FastWeightMemory #Generalization #Deployment #HumanVideo
由 tencent/hy3:free 自動生成