GPT-6 Astra開進機器人身體！清華聯手無問芯穹等開源RPent

來源原標題

GPT-6 Astra開進機器人身體！清華聯手無問芯穹等開源RPent

作者

思邈

原始標籤

資訊 · RPent · 無問芯穹 · 清華

原始連結

https://www.qbitai.com/2026/09/493218.html

摘要原文

GPT-6 Astra開進機器人身體！清華聯手無問芯穹等開源RPent 思邈 2026-09-21 14:22:37 來源： 量子位 在物理世界真正幹活的具身智慧體 允中 發自 凹非寺 量子位 | 公眾號QbitAI Codex、Claude Code等數字世界智慧體，已經向我們展示出了一種全新且高效的工作方式：大模型理解目標，拆解任務，呼叫適當的工具，並根據執行結果不斷調整計劃，直到完成任務。 隨著GPT-6 Astra開始接受真實機器人操作測試，這種“讓大模型作為決策大腦”的智慧體範式正逐漸走向物理世界。 同時，也讓一個曾經遙遠的問題變得越來越具體： 通用大模型，能否成為機器人的“大腦”，讓機器人真正完成現實世界中的複雜任務？ 但機器人面對的不是可以隨時回滾的程式碼，在物理世界裡，環境持續變化、狀態無法完全觀測，動作一旦發生也很難輕易撤銷，抓取、裝配、插拔等精細操作更需要專門的模型與控制能力。 物理世界中的智慧體，不只是 “想明白” ，還必須“ 看得見、做得到、反應快”，並且“記得住”。 今天，由清華大學、無問芯穹、正行創新聯合發起的具身智慧體基礎設施RPent正式開源。 RPent面向真實物理世界，將通用大模型的任務理解與規劃能力、VLA等專家模型的精細操作能力，以及記憶、工具和機器人介面連線起來， 形成從感知、決策、執行到反饋糾錯的完整閉環，使智慧體能夠持續適應環境變化，並將經過驗證的經驗沉澱為可複用的能力，在與物理環境的持續互動中不斷學習和進化。在LIBERO-PRO基準測試中達到92.6%的任務成功率，並將端到端任務完成速度最佳化7倍以上。 RPent由大規模具身強化學習框架RLinf的核心團隊打造，延續了該團隊在具身智慧基礎設施領域的技術積累。 開原始碼連結：https://github.com/RLinf/RPent RPent真機效果展示：從“會動”到“會做事” 在這一影片中，RPent展示了多個有趣的開放式任務：機器人將鋼珠倒入碗中，雙臂協同擦拭盤子，還會主動移開遮擋物，找到藏在碗下的勺子。 值得注意的是，這些任務並不是為每一種場景單獨訓練一個專用策略。 機器人真正發生的變化，是開始從“執行學過的動作”，走向“理解任務、呼叫能力，並根據環境變化調整行動”。 1、例如，當任務變化為“將乾淨餐具放入紙箱”時，面對同一只藍色盤子，凍結VLA只會沿用訓練時學到的動作，將它錯誤地放入金屬籃中； 而在RPent中，智慧體會先觀察當前環境，再根據新的目標選擇放置位置。執行過程中，如果視覺定位出現偏差，它還會檢查結果、排除錯誤目標，並重新定位手中的盤子。 任務變了，機器人也能隨之改變行動。 2、另一個任務中，機器人需要讀取瓶身和袋子上的品牌標籤，將不同飲料放入對應的袋子。 抓起瓶子後，它會先進行小幅試抬，確認夾持穩定； 當原有運動路徑不可行時，再調整腕部姿態繼續執行。 接著，面對被碗遮擋的勺子，機器人也不會直接嘗試抓取，而是先移開兩個碗，讓目標重新變得可見、可達。 這裡展示的已經不再是一條預先寫死的動作序列，而是一個完整的“觀察-判斷-執行-糾錯”閉環。 3、最後兩個任務則進一步展示了 RPent對已有能力的複用。 機器人可以將原本用於“拿起並放置容器”的技能重新組合，用於 傾倒鋼珠 ；又把抓取動作與雙臂協同、持續接觸組合起來，完成 持盤、擦拭和收納 。 探索成功後，RPent會把經過驗證的任務邏輯沉澱為任務卡（Task Card）；再次執行時，RPent可以啟用 Flash Mode ，通過任務卡直接複用這套流程，只根據當前視覺狀態做必要調整，避免每一步都重新呼叫大模型，有效降低了具身智慧體執行的延時。 這一整套Demo想展示的，並不是“機器人又學會了幾個動作”，而是一個更重要的問題 ：當機器人走向開放世界，新的任務、物體和障礙不斷出現時，它能否像人一樣將已有技能重新組織起來，完成訓練分佈之外的任務？ RPent所探索的，正是這樣的具身智慧體形態。 機器人不再只是執行一條固定指令，而是能夠理解目標、呼叫能力、應對變化，並將一次成功沉澱為下一次可以複用的經驗， 這正是具身智慧體的雛形。 RPent核心設計思路 當前具身智慧的發展，正在逐漸呈現兩種不同的技術路線。 一條是 純VLA端到端。 用一個視覺-語言-動作模型直接吃下觀測、吐出動作，精細操作做得很好，但一旦任務變長、語言變花、場景被擾動就迅速退化。 另一條是 純大模型Agent （如CAP-X這類工作）。 隨著GPT-6這一代通用模型對具身任務的覆蓋率快速提升，大模型直接輸出動作已經能跑通不少任務——但它在亞釐米級的精度、執行時延與“越用越強”這幾件事上仍有明顯短板。 兩條路線之間並非簡單的替代關係，而是對應了不同層次的能力： RPent並不是在兩種路線之間進行折中，更不是讓某一個模型變得無所不能，包辦從任務理解到機械臂控制的全部工作，而是將具身智慧拆解為不同層次的能力，讓不同模型各自承擔最擅長的事情： 通用大模型負責理解任務、制定計劃； VLA、WAM等專家模型負責高精度動作執行； 記憶系統沉澱經驗，推動智慧體持續最佳化； 框架負責連線模型、工具與真實環境，形成閉環。 由此，它們形成 “觀察-規劃-執行-反饋-再規劃”的閉環，讓智慧體從一次性執行任務，走向在真實世界中持續成長。 其 背後演算法，源於團隊於7月份提出的Harness VLA工作（連結：https://arxiv.org/abs/2607.08448） 01開放的模組化架構，讓模型、工具和硬體各司其職 RPent 採用開放的模組化設計，將系統劃分為使用者層、智慧層、介面層和環境層四大層級。 在使用者層，可以通過互動式命令列或Web Dashboard下達任務，並檢視視覺輸入、推理過程和動作軌跡。 智慧層中的規劃器結合基礎模型、Memory與工具庫拆解任務，動作原語則把VLA、WAM和程式化技能封裝成可呼叫工具。 在環境層和介面層，機器人控制、模型服務和模擬環境可以獨立部署，通過輕量級通訊連線。 上層任務邏輯不必綁定某一種機器人或模擬器，新增裝置只需實現標準動作、狀態與環境介面。當前RPent已覆蓋LIBERO-PRO、RoboCasa、RoboTwin、RoboDojo等模擬環境，以及Franka、雙臂Franka、YAM、SO101等真實裝置。 使用者層（User Layer）：智慧體互動入口 使用者層提供類似Claude Code/Codex的互動式CLI，以及可選Web Dashboard。 使用者可以下達任務指令，並即時檢視智慧體推理過程、視覺輸入和動作軌跡，實現對智慧決策過程的可觀測及即時互動。 智慧層（Intelligence Layer）：任務規劃與能力排程中心 智慧層由 Agentic Planner 和 Action Primitive 組成。 Agentic Planner結合基礎模型、Memory和Tool Library，實現任務理解、規劃與工具呼叫，並通過 Agentic Loop 完成“規劃 → 執行 → 反饋 → 記憶更新”的持續最佳化。 Action Primitive將VLA、WAM等學習型操作模型，以及Code as Policy等程式化技能統一封裝為標準工具，使大模型負責複雜任務理解與規劃，專家模型負責高精度動作執行，從而兼顧泛化能力與操作精度。 介面層（Interface Layer）：統一連線模型與機器人 介面層將智慧體決策轉換為機器人可執行指令，為不同裝置提供統一呼叫介面，包括動作執行、狀態讀取、環境渲染和裝置復位等能力。 無論是真實機器人還是模擬平臺，上層Agent、提示詞和工具均無需針對裝置重新開發，實現跨機器人、跨環境遷移。 環境層（Environment Layer）：連線真實與模擬世界 環境層負責任務執行，目前已支援LIBERO-PRO、RoboCasa、RoboTwin等模擬環境，以及Franka、雙臂Franka、YAM等真實裝置。 新增機器人只需作為獨立模組接入robots/ 目錄，即可被框架自動識別和呼叫。 此外，智慧層與環境層採用獨立程序架構，支援模型服務、機器人控制和模擬環境的獨立部署、遷移與重啟，為持續研發和長期執行提供工程保障。 通過模組化架構與統一介面設計，RPent不綁定單一模型或機器人，而是構建了一個 開放、可擴展的具身智慧基礎設施， 讓不同模型、技能與硬體能夠靈活組合、高效協同。 同時，每一次任務執行產生的反饋都可以沉澱到記憶系統，為後續任務提供經驗支援，使智慧體在真實環境中持續學習與最佳化， 將智慧體的能力從“一次性部署”推向了“持續演進”。 02統一介面設計，讓智慧體以標準方式連線物理世界 在數字世界中，Agent的能力邊界很大程度上取決於它能呼叫哪些工具。MCP的出現，讓大模型可以通過統一的工具協議訪問搜尋、程式碼、資料庫等數字資源。 但進入物理世界之後，問題變得複雜得多。 機器人、相機、感測器、模擬器和各種物理裝置都有各自的介面。即使是完成同一個任務，不同機器人也可能使用完全不同的控制方式。 如果每接入一種裝置，都需要重新開發一套Agent，那麼智慧體很難真正規模化擴展。 因此，RPent將“工具-機器人-環境”進一步抽象，通過分層介面把智慧決策與物理執行解耦。將“大模型決策”與“物理裝置執行”連線起來，實現智慧體、工具和硬體之間的統一協作。 RPent用三層介面把智慧決策與裝置執行分開： MCP統一描述可呼叫能力。無論底層是VLA、程式化技能還是其他工具，規劃器都通過統一定義進行選擇和呼叫。 RPC連線工具、模型服務與機器人環境，使真實裝置、模擬平臺、本地程序和遠端服務可以獨立部署。 MHS面向更廣泛的物理裝置提供統一讀寫與控制抽象，使智慧體未來能夠從機器人擴展到實驗儀器、家庭裝置和工業系統。 （在開頭的真機影片中展示的Franka和YAM的操控，都來自於統一介面。） 通過MCP、RPC與MHS的分層設計，RPent正在構建一套連線 模型、工具、機器人與物理裝置 的統一介面體系，讓智慧體能夠像呼叫數字工具一樣呼叫物理能力，從“運算元字資源”進一步走向“操作真實世界”。 03 Memory機制驅動，讓一次成功沉澱為長期能力 能完成一次任務，並不意味著真正擁有了這項能力。 在物理世界中，試錯的成本遠高於數字環境。一次失敗的抓取可能需要重新佈置場景，一次錯誤操作甚至可能造成裝置損壞。 如果每次執行結束後經驗隨即消失，智慧體就只能反覆從零開始。 RPent的Memory系統希望改變的正是這一點： 讓一次探索產生的經驗，成為未來任務執行的基礎。 RPent將經驗按複用範圍組織為 三層記憶 ，併為記憶記錄適用範圍、型別、可信度和支撐證據。新經驗需要經過驗證後才能提高可信度；相互衝突的記錄會被保留和隔離，避免偶然成功汙染已有能力。 記憶機制中包含Recipe，也就是可遷移的任務方案，而不是某一次執行中的固定座標。 例如，系統可以記錄“先根據任務描述和當前畫面確認目標，再調整夾爪位置，呼叫VLA完成抓取，並檢查抓取結果”的操作過程。 當物體位置改變時，智慧體重新觀察環境，再複用相同邏輯，而不是直接沿用原來的座標。 探索模式允許更新記憶；評測模式只讀使用已經凍結的經驗，使演進過程更加可控。 在LIBERO-Pro Goal實驗中，引入記憶機制後，RPent在任務擾動環境下表現出明顯提升：在位置交換任務中，成功率從31.0%提升至 87.0% 。 此外， RPent支援記憶資產分發。一次探索產生的經驗可以同步至其他智慧體，使單個智慧體獲得的能力能夠成為整個系統持續進化的基礎。 通過Memory系統，RPent將智慧體從“一次性完成任務”推進到“持續學習和積累經驗”。 智慧體的能力不再完全依賴模型預訓練，而是在真實世界互動中不斷增長。 04開啟Flash Mode，讓智慧體跟上物理世界節奏 將大模型引入機器人控制迴路，為智慧體帶來了更強的理解和規劃能力，但也帶來了新的挑戰。 大模型推理速度通常遠慢於機器人動作執行速度。在物理環境中，等待模型生成下一步決策可能成為整個系統的主要延遲來源。 因此， RPent並不是單純追求更快的大模型，而是通過架構最佳化減少不必要的呼叫，讓智慧體執行節奏更加貼近真實世界。 在實際應用中，大量機器人任務具有較強重複性：任務目標和執行邏輯基本穩定，變化的主要是物理位置、姿態和環境狀態。對於這類任務，如果每次都從頭進行完整規劃，無疑會產生大量重複推理。 RPent通過Flash Mode來解決Agentic Planner應用於真機的這一加速問題，其核心技術載體是任務卡（Task Card）。 在探索階段，RPent允許規劃器呼叫大模型、VLA和程式化技能，嘗試不同動作組合，並將成功且經過驗證的任務流程壓縮為Task Card。Task Card儲存任務階段、動作原語、關鍵目標與檢查條件，不儲存只能在一次場景中使用的固定座標。 進入Flash Mode後，系統優先按照Task Card執行：視覺模組重新定位關鍵物體，執行模組根據當前狀態調整動作；只有在檢查失敗、環境偏離或流程無法繼續時，才重新呼叫規劃器處理。這樣既保留了大模型應對變化的能力，也避免在穩定流程中反覆進行高成本推理。 在LIBERO Object的200次評測中，開啟Flash Mode將平均執行時間從283.6秒降低至40.9秒， 在成功率僅下降3.5個百分點的情況下，實現約7倍加速 。這也是開頭真機影片中Flash Mode的技術含義：把探索得到的成功方案轉化為可以快速複用、同時保留環境適應能力的執行流程。 RPent將已經驗證的任務邏輯沉澱下來，在環境發生變化時僅做必要調整，讓具身智慧體從“每次重新規劃”走向“經驗複用執行”—— 不只是記住過去做過什麼，更能將已有經驗轉化為更高效的行動。 05 Leaderboard：展示模型與系統協同後的能力 社群當下對於Agentic Planner存在相同的問題：到底進展到哪一步了？ 為了回答這個問題，RPent推出了 Leaderboard板塊（https://rpent.readthedocs.io/zh-cn/latest/rst_source/leaderboard.html）， 採用不同技術路線、不同基座模型的方案在效能和延時的對比一目瞭然。 △效能Leaderboard：目前展示了LIBERO-Pro、LIBERO、RoboCasa365 Target50與RoboTwin △延時Leaderboard：目前展示了LIBERO-Pro、RoboCasa365與RoboTwin GPT-6 Astra在RPent中展現出突出的長程任務與擾動適應能力。 在更強調指令變化、佈局變化和長程執行的LIBERO-Pro上，RPent/GPT-6 Astra達到92.63%，相比圖中第二名RPent/Opus-4.7的82.4%高出10.23個百分點；相比π_RLinf的50.0%高出42.63個百分點。此外，開啟了Flash Mode的RPent明顯降低了延時。 在RoboCasa365 Target50的廚房長程任務中，RPent/GPT-6 Astra達到59.20%，位列圖中第一，高於RPent/GPT-5.5的57.1%。這說明更強的基礎模型經過RPent的工具組織、記憶與執行閉環後，能夠有效轉化為物理任務能力。 其餘榜單也顯示了RPent對不同模型與執行配置的相容性：RPent/Opus-4.7在LIBERO達到96.0%；RPent/GPT-5.5在RoboTwin達到62.4%，均處於圖中領先位置。 結果更值得關注的不是某一個模型單獨完成了全部控制，而是通用模型、專家模型、工具和記憶系統可以在同一框架內協同發揮作用。 為物理世界中持續進化的智慧體，構築開放的基礎設施 從Codex、Claude Code到RPent，AI正在 從“在數字世界完成任務”，走向“在物理世界完成任務”。 當智慧體走向真實世界，變化的不只是 模型能力的邊界 ，也包括支撐這種能力執行的 基礎設施形態 。 機器人需要看見環境、理解任務、呼叫不同能力、完成精細動作，還需要根據真實反饋不斷調整策略，並把已經驗證過的經驗保留下來。 所以，圍繞這一完整過程來組織智慧體系統的RPent，並非只是一個開源的“讓大模型控制機器人”的框架，而是一套能夠連線 模型、工具、機器人與環境 ，並支援 智慧體在真實世界中持續執行、積累經驗和不斷遞迴演進 的智慧中樞。 從一次任務，到一類任務；從一次執行，到持續進化。 RPent所代表的，正是大模型真正走進物理世界之後，需要重新構建的下一層基礎設施。 開源地址：https://github.com/RLinf/RPent *本文系量子位獲授權刊載，觀點僅為原作者所有。 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 RPent 無問芯穹 清華 思邈 OpenAI剛曝光迴圈架構，這家公司更早將其用於世界模型 2026-09-10 華為GTS讓Agent學會「看著網路排障」，雙防火牆難題幾乎全拿下 2026-09-16 一張GPU跑10萬原子！分子之心用AI把化學反應“拍”成了電影 2026-09-15 7名博士生僅用3個月從零訓練7B大模型：程式碼+資料+訓練日誌全公開 2026-09-15 相關閱讀