何愷明團隊釋出多模態Harness框架

來源原標題

何愷明團隊釋出多模態Harness框架

作者

henry

原始標籤

資訊 · Harness · 何愷明

原始連結

https://www.qbitai.com/2026/10/502628.html

摘要原文

何愷明團隊釋出多模態Harness框架 henry 2026-10-11 16:59:06 來源： 量子位 多模態模型的視覺原生Harness，來了！ henry 發自 凹非寺 量子位 | 公眾號 QbitAI 多模態模型的視覺原生Harness，來了！ 最近，何愷明團隊在最新論文《VISTA: A Visual Harness for Reasoning in an Interactive World》中，提出了一套視覺原生的Harness—— VISTA 。 它讓現有的多模態模型直接觀察環境、儲存原始畫面，並在推理時隨時回看、放大和檢查細節，無需從頭訓練。 相比於傳統將環境抽象成文字或程式碼的做法，VISTA保留了 原始的視覺資訊 。模型可以根據眼下的問題，將過去看過的畫面重新調入上下文，參與當前的判斷與推理。 基於這套方法，視覺經驗成為了模型隨時呼叫、反覆檢查的上下文，而多模態模型，也有了圍繞視覺記憶搭建的原生腳手架。 在評測方面，搭配VISTA，Claude Opus 5.0完成了ARC-AGI-3全部25個公開遊戲，相對人類動作效率得分達到滿分 100 ，所用遊戲動作數比首次遊玩的人類基線少 57.4% 。 換成GPT-5.6 Sol，同樣全部通關，得分達到99。 更進一步，團隊還在瀏覽器遊戲、迷宮和連線題中驗證了這套方法，並將更接近物理世界的具身任務列為後續研究方向。 這是怎麼做到的？ 視覺原生的腳手架 從ResNet、Mask R-CNN到MAE，視覺感知與表徵學習始終是何愷明研究的一條主線。 這一次，VISTA將目光投向了一個新問題：如何讓模型在持續互動中積累、儲存並利用視覺經驗？ 答案是 Harness 。 去年11月，Anthropic曾以長時間程式設計任務為例，介紹了Harness如何幫助模型跨越多個上下文視窗，持續推進任務。 具體來說，Harness會通過任務清單記錄尚未完成的事項，通過進度檔案和程式碼記錄儲存已經完成的工作。 這樣一來，即使模型進入新的上下文視窗，也能通過讀取這些資訊，瞭解此前做了什麼、接下來該做什麼。 複雜任務由此可以分步執行、檢查結果，並在不同上下文視窗之間接續工作。 可以說，這套主要通過文字和程式碼來儲存任務狀態的Harness，在一定程度上推動了這一波Agent能力的爆發。 然而，在現實環境裡， 光有文字記憶，顯然還不夠 。 因為一旦進入真實的視覺環境，模型不僅需要記住物體的位置、朝向，還要理解每次動作前後，環境究竟發生了哪些變化。 而且 模型第一次看到一張圖時，未必知道哪個細節會在後面變得重要。 與此同時，這些視覺資訊，也很難提前用一份文字筆記完整記錄下來，更難保證模型後續執行任務時，記錄的資訊依然夠用。 在ARC-AGI-3這樣的基準中，一種已有思路是先把畫面轉換成由數字組成的文本網格，再讓模型編寫程式，模擬環境規則、驗證行動方案。 （註釋：ARC-AGI-3是一套互動式視覺推理基準，不預先提供遊戲規則和目標，智慧體需要通過觀察和行動，自行摸索如何通關） 但問題在於，環境越複雜，物體的外觀、空間關係和動態變化就越難被完整地轉化成文字和程式碼。而且隨著互動歷史越來越長，早期畫面也會被逐漸移出上下文，或者被文字摘要替代。 於是，在這裡，VISTA的研究問題就變成了： 如何在不額外訓練基礎模型的情況下，讓智慧體在推理需要時，重新檢查過去看到的視覺資訊？ 基於此，VISTA把 環境返回的每一幀原樣存到上下文之外，包括動作過程中的動畫中間幀，模型需要時再取回來。 在ARC-AGI-3評測中，它既能比較不同時刻的畫面，也能放大局部，檢查小方塊上的朝向標記。 其中，文字筆記記錄模型當前的理解，原始畫面保留供它重新判斷的證據。 研究將這種機制稱為對互動歷史的顯式注意力，模型根據正在思考的問題，選擇哪些視覺資訊重新進入上下文。 要想讓這種選擇成為可能，系統就得儲存原始畫面，並提供隨時調取和檢查的工具。 具體實現 為了讓模型能夠儲存並利用過去的視覺經驗，VISTA設計了三個核心元件： 視覺觀測、無損視覺記憶和主動視覺檢查。這三個元件各有分工，分別負責讓模型看清畫面、儲存歷史，以及按需回看。 首先是視覺觀測，負責將環境畫面提供給模型。 在ARC-AGI-3實驗中，VISTA會將官方提供的64×64畫面放大為512×512的PNG影像，同時保留物體的顏色、外觀和空間關係，讓模型能夠直接觀察環境。 其次是無損視覺記憶，負責儲存模型看到的畫面。 每次執行動作後，VISTA都會完整儲存環境返回的所有畫面，包括動作過程中的動畫中間幀，並按照回合號和幀號建立索引。 這樣一來，模型就不必提前判斷哪些資訊值得記住，而是可以先把視覺經驗完整儲存下來，留待後續使用。 最後是主動視覺檢查，負責讓模型按需回看歷史畫面。 通過inspect工具，模型可以指定某個歷史回合，調出對應畫面，也可以裁剪、放大局部區域，檢查其中的細節。 如果想知道某次操作究竟改變了什麼，模型還可以一次調出多幀畫面，對比動作前後的變化。 整個過程相當於給模型配了一套可以隨時翻閱的視覺檔案。 它不僅能看到眼前的環境，還能主動回看過去的觀察結果，為接下來的行動提供依據。 說到這，這三個元件具體是如何配合工作的？ 按照VISTA的執行流程，每個回合開始時，模型會先觀察當前畫面和可用動作，再結合此前積累的經驗，判斷當前環境的狀態，並提出下一步行動的假設。 如果現有資訊不足，模型就可以呼叫工具，回看歷史畫面、放大局部區域，甚至讀取具體的畫素資訊，進一步尋找證據。 找到證據之後，模型並不會直接行動，而是先預測這次操作可能帶來什麼變化。 等動作執行完畢，再將實際結果與預測進行對比，檢查自己的判斷是否正確，並據此修正對遊戲規則的理解。 如此反覆，模型就能在持續互動中，一邊探索環境，一邊積累經驗。 當然，光有視覺檔案還不夠。為了讓模型在長時間任務中保持連貫，VISTA還引入了兩份文字筆記： GUIDE.md：記錄不同關卡之間可以複用的規則和經驗。 WORKING.md：記錄當前關卡的狀態、進度和後續計劃。 當上下文接近上限時，模型會先整理交接摘要，再進入新的上下文視窗繼續執行任務。此前的文字筆記、動作歷史和視覺檔案都會保留下來。 這裡還有一個值得注意的設計：VISTA雖然完整儲存了歷史畫面，卻不會把所有圖片一股腦塞進模型的上下文。 在完整方案中，每次執行動作後，框架預設只向模型展示最後一幀。至於動作過程中的中間畫面，則統一儲存在視覺檔案裡，等模型需要時再主動調取。 這樣既保留了完整的視覺資訊，也避免大量歷史圖片持續佔用上下文空間。 更重要的是，VISTA並沒有為此額外訓練一個新模型。 環境理解、行動規劃和推理仍然由現成的多模態模型完成，Harness則負責執行工具呼叫、儲存視覺歷史，並在模型需要時提供相應的證據。 換句話說，VISTA改變的不是模型本身，而是模型獲取、儲存和使用視覺資訊的方式。 實驗驗證 除了開頭提到的實驗以外，團隊還在GameWorld、AI GameStore和BabyVision三個基準上測試了VISTA，覆蓋瀏覽器遊戲、迷宮和連線等任務。 使用相同的GPT-5.6 Sol模型，相比官方基礎框架，VISTA在GameWorld的170項任務中，將成功率從40.0%提高到63.3%； 在AI GameStore的10個遊戲中，綜合得分從47.3升至140.3，其中人類中位數被歸一化為100； 在BabyVision選取的39道迷宮與連線題上，準確率從41.0%提高到63.2%。最後這組任務只有靜態圖片，模型也能通過放大局部、檢查畫素，改善判斷。 這些結果表明，儲存原始畫面、讓模型按需回看，可以進一步發揮現有多模態模型的能力。 同一套VISTA框架只需少量適配，就能用於不同的遊戲與謎題，也展現了它在更多視覺任務中的應用潛力。 在結論上，研究將未來的驗證方向指向更接近物理世界的具身任務：讓模型在持續變化的環境中，儲存、複查並利用自己的視覺經驗，決定下一步行動。 作者介紹 最後，讓我們介紹這篇工作的作者們。 論文的三位共同第一作者為Qiushi Han、胡珂雅和Linlu Qiu，另外兩位作者為Cathy Wu和何愷明。 Qiushi Han（Josh Han） 目前是MIT運籌研究中心博士生，導師為Cathy Wu。 胡珂雅（Keya Hu） 目前是MIT電氣工程與電腦科學系博士生，由何愷明和Jacob Andreas聯合指導。 她本科畢業於上海交通大學ACM班，研究興趣集中在語言與視覺的交叉領域，希望構建資料效率更高、泛化能力更強的智慧體。 Linlu Qiu 目前是MIT電氣工程與電腦科學系及電腦科學與人工智慧實驗室的博士生，導師為Yoon Kim和Jacob Andreas。 其研究方向包括自然語言處理和機器學習，曾在Google Research及Meta FAIR開展研究。 Cathy Wu 目前是MIT土木與環境工程系、資料系統與社會研究所副教授，研究如何用機器學習和強化學習改進交通等複雜系統。 她在MIT獲得學士和工程碩士學位，隨後在加州大學伯克利分校獲得博士學位。 何愷明 目前是MIT電氣工程與電腦科學系終身副教授，也是ResNet、Mask R-CNN和MAE等工作的主要作者。 他本科畢業於清華大學、博士畢業於香港中文大學，曾任職微軟亞洲研究院和FAIR，於2024年加入MIT。 參考連結 [1]https://arxiv.org/pdf/2610.02200 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 Harness 何愷明 henry 限時28天！OpenAI承諾沒新功能就重置，網友：只想要Opus 2026-10-05 Manus 2.0回來了！給AI配手機號和錢包，還能拉群幹活 2026-09-30 剛剛，GPT-6 Astra接上宇樹G1，把廚房收拾了！ 2026-09-30 亮出“中國最強AI晶片”還不夠，平頭哥又甩出一手開源 2026-09-25 相關閱讀