程式碼造世界，擴散繪現實：AgentGarten讓智慧體在即時試煉場中邊玩邊進化
https://www.qbitai.com/2026/10/502096.html📌 程式碼寫物理，擴散模型畫畫面：AgentGarten讓Agent邊玩邊進化
TL;DR：MirroS用程式碼定物理、擴散模型即時渲染畫面，讓Agent靠「寫手冊」數輪就學會策略。
OpenAI在2019年做過一個著名的捉迷藏實驗，AI靠大規模自我對弈，打了約2500萬局才學會搬擋板當掩體，又打了約1億局才學會借坡道翻牆。MirroS團隊最新發布的AgentGarten，用同樣的捉迷藏任務重新測了一次：躲藏者第4輪就學會搭掩體，搜尋者第10輪就掌握借坡道翻牆的招式。
🤔 Agent缺的不是演算法，是一個能反覆練手的世界
要讓AI真正理解物理世界，光看大量影片不夠，就像學游泳不能只看錄影，agent必須親自行動、觀察結果，再決定下一步。這需要一個具備物理因果確定性的環境：箱子被推開就該留在原地，通道被封堵就該無法通行。但現有兩條路徑都有侷限：傳統程式碼或遊戲引擎環境狀態精準、規則透明，但畫面往往只有粗糙的幾何白模，想讓成百上千個場景都有逼真光影，美術與工程投入是天文數字；而以影片生成為核心的世界模型雖然畫面好看，物理資訊卻完全藏在神經網路的記憶裡，無法查詢或干預，沒辦法確認杯子裡還剩多少水，也無法對機械臂下達精確的任務判定規則。
🧩 物理交給程式碼，光影交給神經渲染器
AgentGarten的互動閉環是這樣運作的：agent給出動作指令後，程式碼環境立刻計算物理碰撞與狀態更新，並從agent的第一人稱視角匯出一份輕量的「幾何草圖」（空間深度或表面法線）；神經渲染器讀取這份幾何草圖，結合先前的視覺記憶，即時渲染出下一幀擬真畫面交還給agent。這種分工帶來兩個效果：物理規則永遠確定可控，不會產生「幻覺物理」；建構新世界的成本從美術勞力密集型變成程式化擴展型，翼裝飛行、機械臂操作、廚房烹飪、多車競速等不同任務，底層可以共用同一套視覺介面。整套渲染器是流式生成的，agent走一步動作，畫面就畫出對應一段，看清結果才做下一個決策。
為了讓渲染跟得上即時互動，MirroS團隊從基礎全模態模型出發，提出Adversarial Forcing訓練方法並搭配推理最佳化：把整段離線生成改成流式逐塊渲染；用「精確重放機制」解決長程互動容易漂移的問題，第一遍無梯度前向展開，第二遍按完全相同的逐塊節奏帶梯度重新執行，穩住長序列的時序一致性；訓練時引入真實影片判別器構成對抗訊號，避免長時間推演後畫面退化或出現網格狀偽影；再透過手寫Triton融合運算元、CUDA Graph與延遲不到10毫秒的輕量解碼器，最終在480p解析度下穩定做到單卡30 fps以上。
📊 四個世界、各四輪，策略都在數輪內穩定出現
躲藏者與搜尋者的對戰設計相當純粹：躲藏者先佈置場景，搜尋者再入場搜索，雙方都只憑眼前第一人稱畫面決策，對空間座標和對手位置一無所知，靠寫Python程式碼控制移動與抓取。每輪對戰十局，戰後覆盤，下一輪隨機抽選部分技能庫套用，很快就湧現出挪擋板封門、搬斜坡搭橋、翻牆受挫後主動拉近斜坡重試等經典策略。
| 任務世界 | 第1輪 | 第4輪（或最終） |
|---|---|---|
| 陪伴小狗（60秒內撫摸、玩球維持好感度） | 13分 | 19分 |
| 狹橋會車（兩車協商互讓並交換位置） | 71秒 | 41秒 |
| 合作牧羊（兩隻牧羊犬趕四隻羊入圈） | 僅圈進3隻、超時 | 後三輪穩定全部圈入 |
| 採石場裝載機（推石、送料、入庫） | 僅勉強推開石塊 | 360秒時限內提前31秒完成全流程 |
💡 讓Agent自己寫「實驗手冊」，取代上億局自我對弈
推動這些策略快速演化的，是agent自己寫下的實驗手冊。每輪演練分成四個環節：領受任務（拿到任務檔案但沒有標準答案）、盲盒試錯（只有相機畫面，沒有座標或小地圖，在嚴格步數與時間限制下行動）、撰寫手冊（覆盤記錄自己試了什麼、看到什麼現象、哪些判斷存疑、下次該驗證什麼新假設）、封存傳代（手冊凍結，直接交給下一輪agent當作先驗）。翻閱這些手冊會發現相當具有科學探究色彩：躲藏者總結「防守的核心在於堵住通道，而不僅僅是擋住視線」；搜尋者摸索出「搬東西前先試拉一下，別把卡死當抓穩」；過橋任務裡還有司機寫下「目標圓盤滑入車頭盲區，並不代表車已經安全到達」。經得住考驗的經驗會被後繼者沿用，失效的教訓則促使它們嘗試新的策略分支。
🎯 對工程師與研究者的實務啟示
對做embodied AI或agent訓練的團隊來說，AgentGarten示範了兩個可以直接參考的設計：一是用程式碼保證物理規則確定可控，再用神經渲染器補足畫面寫實度，讓場景擴充不再被美術資源卡住；二是用「逐輪覆盤寫手冊」取代大規模自我對弈強化學習，在數輪之內就能讓策略收斂，比起動輒上千萬局的self-play訓練成本低得多。MirroS團隊將這個方向稱為Physical RSI（物理世界的遞迴自我改進），並認為語言模型的scaling已經如火如荼，而物理世界中智慧的scaling才剛剛拉開序幕。
🔗 來源
- 標題：程式碼造世界，擴散繪現實：AgentGarten讓智慧體在即時試煉場中邊玩邊進化
- 作者／機構：思邈，量子位
- 連結：https://www.qbitai.com/2026/10/502096.html
#AgentGarten #EmbodiedAI #WorldModel #DiffusionModel #ReinforcementLearning #PhysicalSimulation #AIAgent #SelfPlay #RoboticsAI #GenerativeAI
原始資料 量子位 · 收集於 2026-10-09
摘要原文
程式碼造世界，擴散繪現實：AgentGarten讓智慧體在即時試煉場中邊玩邊進化 思邈 2026-10-09 10:03:48 來源： 量子位 讓AI反覆試錯的“練兵場”來了 允中 發自 凹非寺 量子位 | 公眾號QbitAI 推開一塊擋板，通道就此封閉；搬來一段坡道，高牆便有了越過的可能。 每一次行動都會改變世界，而改變後的世界，又成為智慧體下一次決策的起點。 當這樣的世界可以由程式碼構建、由擴散模型即時繪出，AI便擁有了一座可以反覆探索的「試煉場」：親自行動，觀察後果，驗證猜想，再把經驗帶進下一輪。 這是MirroS團隊最新發布的AgentGarten。它將可執行的程式碼環境與即時神經渲染器連線起來：程式碼定義物理規則，模型生成視覺反饋，以超過30 fps的吞吐，讓智慧體持續與世界互動。 在經典的捉迷藏實驗中，變化很快發生了。躲藏者在第4輪學會搬動擋板搭建掩體，搜尋者在第10輪掌握借坡道翻牆。一次跳躍失敗後，搜尋者還會主動推近坡道，調整位置，再次嘗試。 推動這些策略演化的，是智慧體自己寫下的「實驗手冊」。 每輪結束，它們覆盤嘗試、記錄發現、標註疑問；下一輪，再帶著這些經驗繼續探索。 程式碼讓世界可以運轉，即時渲染讓世界可以被看見，持續演練讓經驗不斷積累。 AgentGarten將三者接成閉環，探索一個更大的問題： 當智慧體擁有可以行動、試錯並積累經驗的世界，智慧將如何在其中持續進化？ 全文Blog：https://mirros.ai/blog/worlds-for-evolving-agents 技術報告：https://mirros.ai/report/agent-garten.pdf 程式碼：https://github.com/MirroS-Lab/AgentGarten 專案主頁：https://mirros-lab.github.io/agent-garten △圖1｜對局中湧現的三組典型博弈策略。搬擋板封堵掩體、架坡道翻越高牆、首跳失誤後主動調整重試。 智慧體缺的，是一個能反覆練手的世界 想讓AI真正理解物理世界，光靠給它看海量影片是遠遠不夠的。就像學游泳不能只看錄影一樣，智慧體必須親自“下場”，即採取行動，觀察實際結果，再決定下一步。 這就需要一個具備物理因果確定性的環境，推開的箱子必須留在原地，封堵的通道必須不能通行，後續的一切動作都要被這些物理變化持續約束。 當前的兩條主流技術路徑各有侷限： 傳統的程式碼/遊戲引擎環境 ，狀態精準、規則透明，每一次物理碰撞都清清楚楚。 但短板在畫面：程式化搭建的場景往往只有粗糙的幾何白模和重複貼圖。要想讓成百上千個開放場景都擁有逼真的光影質感，所需的美術建模和工程投入是個天文數字。 以影片生成為核心的世界模型 （如各類影片大模型），固然能生成令人驚歎的高畫質畫面，也能隨動作生成後續幀。 但問題在於，物理資訊完全隱式藏在神經網路的記憶中，無法提供一個可查詢、可干預的明確狀態。你想檢視杯子裡還剩多少水、想讓機械臂擰緊螺絲、或者制定一套嚴格的任務裁判規則，在單純的影片黑盒裡寸步難行。 MirroS的解法表現為： 讓兩者各司其職，物理交給程式碼，光影交給神經模型。 程式碼推進世界，模型負責「看起來怎樣」 在AgentGarten中，一次標準的互動閉環是這樣運轉的： 智慧體給出動作指令；程式碼環境立即計算物理碰撞與狀態更新，並從智慧體的第一人稱相機視角，匯出一份輕量的“幾何草圖”（即空間深度或表面法線）； 隨後，神經渲染器讀取這份幾何草圖，結合此前的視覺記憶，瞬間渲染出擬真的下一幀畫面遞給智慧體。 △圖2｜程式碼環境與神經渲染器的閉環流轉。智慧體發出動作指令，程式碼世界更新狀態並匯出幾何條件，神經渲染器即時生成下一次視覺觀測。 這種分工帶來了兩大質的飛躍： 第一，物理規則永遠“確定可控”。 場景佈局、接觸判定與遊戲勝負均由程式碼裁決，不產生任何“幻覺物理”。 第二，搭建全新世界變得極快。 過去構建100個逼真模擬環境，需要專業美術團隊建模、貼皮、打光，成本高到難以承受。而在AgentGarten中，只要能輸出簡單的三維深度和法線輪廓，任何極簡的程式碼場景都能直接套用這套神經渲染器，瞬間獲得寫實的光影與材質。翼裝飛行、機械臂操作、廚房烹飪、多車競速，底層共用同一個視覺介面——虛擬環境的擴充成本，第一次從“美術勞動密集型”變成了“程式碼程式化擴展型”。 △圖3｜跨任務的多樣化物理世界。涵蓋空間導航、物體操控、運鏡重拍與多車互動等。左側為程式碼匯出的簡易白模，右側為渲染器即時生成的擬真視覺。 更關鍵的是，這套渲染器是 流式生成 的：動作走一步，畫面畫一段，智慧體看清結果再做下一決策，互動真正像現實世界一樣連貫流轉。 重訪捉迷藏：2500萬局與4輪 世界搭好了，接下來要看的是智慧體：在這樣的世界裡反覆行動、覆盤，它能不能自己越做越好？ 一個經典的參照是OpenAI 2019年的捉迷藏實驗：躲藏者和搜尋者在放有擋板和坡道的場地裡對抗，經過大規模自我博弈，相繼學會了搭建掩體和借坡道翻牆。 MirroS團隊在AgentGarten中重做了這個實驗，採用一對一的設定：躲藏者先佈置場景，然後輪到搜尋者進場。 對戰規則清晰純粹：躲藏者先佈置場景封堵入口，隨後搜尋者進場搜尋。智慧體通過寫Python程式碼控制移動與抓取，全憑眼前生成的畫面決策，對空間座標、對手位置一無所知。 雙方從完全空白的手冊起步，各自維護由單篇技能組成的策略庫。每輪對戰十局，戰罷覆盤沉澱，下一輪隨機抽選部分技能庫應用。 很快，那些經典的博弈策略在數輪內相繼湧現：挪擋板封門、搬斜坡搭橋、翻牆受挫後拉近斜坡重試。 2019年的研究因湧現出這些經典行為而聞名，也提供了一個直觀的對照（見圖4）：在那項研究中，AI依靠從零開始的強化學習，摸索出掩體搭建，經歷了約2500萬局；學會借坡道翻牆，經歷了約1億局。 而在AgentGarten中，智慧體面對第一人稱視覺畫面，在輪次之間覆盤並修訂文字手冊，躲藏者在第4輪學會了搭掩體，搜尋者在第10輪掌握了借坡道翻牆。 △圖4｜代表性策略出現前所經歷的對局規模對比。自我博弈RL在特權物理狀態上從零訓練數千萬至上億局；MirroS智慧體依據第一人稱渲染畫面行動，通過逐輪反思手冊在數輪內迅速掌握相應策略。 邊玩邊記，把經驗寫下來 Hide-and-seek裡的快速進步，靠的是一套通用的演練流程。 MirroS的做法是： 讓智慧體自己“動手記筆記” 。它學到的一切認知，都寫進一本本手冊裡。 演練被劃分為嚴謹的四個遞進環節： 領受任務 ：拿到一份任務檔案，明確行動目標與規則紅線，但沒有任何標準答案。 盲盒試錯 ：在嚴格的步數與時間限制下自主行動。只有相機畫面，沒有上帝座標，沒有小地圖，未到終局也看不到得分。 撰寫手冊 ：一輪結束後自我覆盤，老老實實記錄：自己試了什麼、看到什麼現象、哪些判斷存疑、下次該驗證什麼新假設。 封存傳代 ：手冊歸檔凍結，直接作為先驗遺產交給下一輪智慧體。 △圖5｜單輪演練閉環：讀任務、行動、寫手冊、歸檔。下一輪智慧體以前輩沉澱的手冊為起點繼續探索。 翻閱智慧體寫下的這些手冊，會發現它們極具科學探究色彩。模型會嚴密區分“看到的實況”與“腦補的猜測”，還會特意給後人標註防坑指南： 躲藏者總結出實戰真理：“ 防守的核心在於堵住通道，而不僅僅是擋住視線 ”，告誡後人要藉助死角減少漏縫，並用小幅挪動測試阻擋效果； 搜尋者摸索出控制法則：“ 搬東西前先試拉一下，別把卡死當抓穩 ”，貼近後先按一下微拉鍵，看物體是否相對房間地標移動，以此檢驗是否真正抓取； 一位過橋司機的警告更是發人深省：“ 目標圓盤滑入車頭盲區，並不代表車已經安全到達 ”。 經受住考驗的經驗被後繼者沿用，失效的教訓則促使它們嘗試新的策略分支。 同一套迴圈，換四個世界再跑一遍 Hide-and-seek只是一個開端。因為程式碼世界本質上是一套可程式設計的軟體環境，同一套“探索—覆盤—沉澱”迴圈可以輕鬆復刻到更多複雜場景中。 團隊在另外四個截然不同的世界中各運行了四輪演練： 陪伴小狗 ：智慧體需在60秒內通過伸手撫摸、適時玩球維持小狗好感度。得分從首輪的13分提高到第4輪的19分。 狹橋會車 ：兩輛車依據駕駛第一視角協商互讓，在狹窄的單車道上以儘可能短的時間錯車互換兩端。雙車通關總耗時從71秒大幅壓縮至41秒。 合作牧羊 ：兩隻牧羊犬僅憑自身視線默契配合，把四隻羊趕進羊圈並維持5秒。從第1輪超時僅圈進三隻，到後三輪穩定實現“一隻不漏”全部圈進。 採石場裝載機 ：重型裝載機需推石、送料、入庫。第1輪僅勉強推開石塊，到第4輪已能在360秒時限內提前31秒乾淨利落地跑通全流程。 △圖6｜四個任務世界的四輪演進對比。陪伴小狗、狹橋會車、合作牧羊與採石場裝載機均展現出穩健的行為演化 這些跨度極大的任務說明了同一件事：這套經驗沉澱閉環，換到截然不同的世界裡同樣跑得通。 畫面怎樣跟上動作：單卡30幀是怎麼做到的 要讓智慧體在虛擬世界裡“邊看邊行動”，神經渲染器必須攻克長期困擾生成式影片的三座大山： 跟得上突發動作、穩得住超長互動、還要跑得足夠快 。 MirroS團隊從基礎全模態模型出發，提出了 Adversarial Forcing 訓練方法，再配合推理最佳化，打通了這套視覺通道： 1、從整段離線生成，到流式逐塊渲染 以往影片模型習慣一次性生成整段影片，AgentGarten把它改造成流式逐塊生成。智慧體做一個動作，模型立即產出對應的短塊畫面，看清結果再做下一步決策。 2、長程互動不漂移（精確重放） 連續生成越久，微小誤差越容易累積成外觀漂移。很多模型為了節省視訊記憶體切斷了歷史計算圖，梯度無法回傳到歷史記憶；若在第二遍對全序列統一重算，底層執行順序的微小差異又會帶來數個百分點的誤差。 團隊設計了精確重放機制：第一遍無梯度前向展開，第二遍按完全一致的逐塊節奏帶梯度重新執行，精確復現了推演軌跡，穩住了長序列互動的時序一致性。 3、引入真實影片對抗：避免畫面退化與偽影 僅靠模型自身生成樣本做分數蒸餾，長時間推演容易失真並出現網格狀偽影。 團隊在訓練中引入真實影片判別器構建對抗訊號，以真實物理畫質為錨點，既約束畫面質感，又讓生成結果嚴格貼合程式碼給出的幾何輪廓。 4、維持30+ fps即時互動 團隊手寫定製了Triton融合運算元，消除了視訊記憶體往返，並避免了傳統全圖編譯數分鐘的冷啟動等待；配合CUDA Graph消除CPU排程開銷，並換上延遲不到10毫秒的超輕量解碼器，最終以480p解析度、30 fps以上的吞吐穩定支撐閉環互動。 為持續進化的智慧體，準備可以經歷的世界 可執行的程式碼，讓訓練世界能夠被無窮無盡地程式化生成；學習得到的渲染器，讓這些世界擁有可感知的逼真物理反饋；沉澱下來的實驗手冊，讓每一次摸索都能成為下一輪探索的臺階。 結合這三者，智慧體擁有了一個可以真正探索、試錯、進化的空間。 這正是MirroS探索Physical RSI（物理世界的遞迴自我改進）的核心理念。 語言模型的Scaling正在如火如荼，而物理世界中智慧的Scaling才剛剛拉開序幕。 真正的通用具身智慧，需要在與物理世界的真實往復中持續生長： 讓每一次未知，都成為下一輪進化的起點。 全文Blog：https://mirros.ai/blog/worlds-for-evolving-agents *本文系量子位獲授權刊載，觀點僅為原作者所有。 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 AgentGarten MirroS RSI 思邈 openJiuwen釋出並開源企業級AgentOS，加速智慧體規模落地企業 2026-10-09 出海Agent“小元AI”入駐騰訊WorkBuddy：找買家寫開發信談生意 2026-09-24 PCIe顯示卡被低估了！核心補齊+通訊重構，DeepSeek推理吞吐翻近7倍 2026-09-24 教機器人幹活，光“刷課時”可不夠！靈初這次較真資料質量 2026-09-24 相關閱讀
由 claude-code/sonnet 自動生成