OpenAI推理之父最新訪談！數學只是多智慧體時代的開胃菜

來源原標題

OpenAI推理之父最新訪談！數學只是多智慧體時代的開胃菜

作者

衡宇

原始標籤

資訊 · AI數學 · AI訪談 · 長文乾貨

原始連結

https://www.qbitai.com/2026/09/499654.html

摘要原文

程淺 發自 凹非寺 量子位 | 公眾號QbitAI “Navier–Stokes千禧年難題的突破，10000個Agent最多佔了10%的功勞。” 此判斷出自OpenAI研究員，o1核心作者NoamBrown之口。 NoamBrown， 人稱“OpenAI推理教父”。 在幾乎所有人還在卷模型參數的2023年，他就已經開始押注test-time compute scaling（推理時計算） 。 一年後，o1-preview橫空出世、震動行業。如今，TTS早已成為行業共識，成了人手一個的“深度思考”按鈕。 △Dwarkesh Patel播客《OpenAI researcher on agent swarms & recursive self-improvement》 現在，NoamBrown又帶來了他目前的研究方向—— 多智慧體（multi-Agent）系統。 此前，OpenAI發動了10000個Agent，耗時88小時，輸出1300億token，拿下千禧年數學難題。 關於此事，NoamBrown在最新播客中從多智慧體系統聊起，深入到了公司經營、RSI發展、超級對齊等領域…… 一個個問題也接連浮現： 當難題越來越少，模型強到一秒解題，將如何繼續提升能力？ 如果把這批Agent投入到遞迴自我改進研發中，會發生什麼？ 前沿模型如果一個長任務可以做三個月，而釋出週期只有兩個月，怎麼辦？ AI越來越會隱藏自己的思維鏈，人應該如何監測？ 當AGI已經超越人類智慧，在那時，我們如何知道對齊問題已經解決了？ …… 關於這些問題，對話全文如下。 多智慧體系統如何拿下千禧年難題？ 主持人： 今天我們對話的是OpenAI研究員 Noam Brown 。他是o1及此後一系列推理模型的奠基性貢獻者之一，目前的研究方向是多智慧體系統。 你們上週宣佈，一個由1萬個不同AI Agent組成的系統，歷時88小時、消耗1300億token，解出了一道千禧年難題。 實際上大約兩三年前，你就指出，只要把推理時的算力投入放大，就能預見幾年之後模型的基礎能力會到什麼水平。 我覺得你現在又站到了類似的位置：Agent的規模已大幅擴展，你可以幫我們看清未來的能力會是什麼模樣。 Noam Brown： 我是這樣想的，如果你用橫軸取test-time compute（推理時計算量），縱軸取這些推理模型的基準成績，就會看到一條極清晰的規律——模型思考答案的時間越長，表現越好。 人也一樣，考SAT的話，如果只給五分鐘做完整張卷子，成績必然很糟糕；給五個小時，成績就會好得多。 AI模型也差不多，它們會用這段時間來自言自語，理清問題、審視各種情形、排除種種可能，並在已有發現上繼續推進。 但問題在於，你不可能幹等三年才拿到一個答案。於是很多人開始搞 並行化 ，也就是組團隊。 所以說，多智慧體是把推理時的計算量由純序列擴展改為並行擴展的方式。 它的效率會低一些，因為不像單個Agent那樣獨享全部上下文。但只要做得好，它仍是極為有效的手段。 主持人： 接下來我要問一堆外行問題了。這是個尚未釋出的模型，外界還沒見過這類系統實際如何運作。 我很困惑它們究竟有哪些性質、特點。 並且，能在這麼短的時間裡凝聚如此龐大的認知投入，令我很震驚。 1300億token意味著什麼？換成一個人以全職工作的方式持續地思考，要思考4000年，每天八小時。也就是說，一個人從古代蘇美爾一路想到今天所需的時長，被壓縮進了88小時裡。 而且更讓我意外的是，並行化似乎並未帶來很多損耗——你們居然能讓1萬個Agent協作！也許Agent比人更擅長協作，因而快得多，能在如此規模上真正產出成果。 Noam Brown： 那就先談並行化損耗，再談性質問題。實際上關於把多智慧體擴展到這種規模，我們還沒有比較紮實的科學認識。 釋出5.6時是我們第一次在模型中擁有真正成形的多智慧體系統。部落格裡確實給出了多智慧體擴展效能的若干曲線，因為我們把它做成了可選項，即Ultra Mode：預設四個Agent，但可以調得更高。 四個Agent一起解題，速度會快一倍：四個Agent各幹一半時長，等於你多付兩倍成本，換來快一倍的答案。推到16個Agent，規律類似，效率略低，效能卻仍在繼續提升。 主持人： 隨著並行Agent數量增加，序列耗時的縮短是線性的，還是亞線性的？ Noam Brown： 略微呈現亞線性，但很大程度上取決於問題本身。比如數學就相當適合並行，而網頁搜尋以及需要翻閱大量信源的Deep Research報告這類工作，則極其適合並行。 我猜寫小說就很難並行：讓1萬個Agent合寫一部長篇，收益大機率不大，就像讓1萬個人合寫一部長篇小說一樣。 所以這個表現確實取決於領域。我們的測試最多隻能做到16個Agent，如果要把這套研究推到1萬個Agent的規模上，那就太貴了。 主持人： 可你們剛剛只用了一個週末就做到了。 Noam Brown： 那也只是一次實驗結果而已，我們並不知道單個Agent解出納維–斯托克斯問題需要多久，因為這個實驗還沒做。也許以後會做，可那也仍然只是一次的實驗結果。 如果要做完整的消融實驗（ablation），那種規模下的開銷根本承受不起。 所以我們只能做循序漸進的研究，看擴展到64、128、256個Agent時會發生什麼，然後摸清行為規律。 但要一路推到1萬個，並確切知道1萬個Agent相較1000個究竟帶來多少收益，就很難了。 而且有一點我得講清楚：解出千禧年大獎難題，靠的不是多智慧體。我甚至不會把其中10%的功勞記在多智慧體頭上。 歸根結底我們能做成這件事，是因為手上有一個通用且極強的模型。多智慧體這類東西新奇、搶眼，因此可能獲得了與其貢獻不成比例的好評。 核心原因還是：模型本身足夠強大。 主持人： 這種泛化能力讓我很震驚。我不知道這些系統是怎麼訓練的，但想必仍是常規的RL（強化學習）套路，準備一大批答案可驗證的合成題目。 我猜在訓練過程中，模型從未解過像千禧年大獎難題這麼有野心的題。可它的泛化足夠強，能從這些容易得多、又可驗證的題目，一路遷移到在一道極難問題上投入如此大規模的並行思考。 Noam Brown： 是這樣的。這裡有個有意思的難題：模型越聰明，我們能問的許多問題就越顯得簡單，很難真正考住它。我覺得這個很重要。若要論證 為什麼LLM這類AI不太會重走AlphaGo、AlphaZero等博弈AI的老路 ，這可能是條理由。 在AlphaZero這類系統裡，自我對弈（self-play）提供了無限多的訓練課程：你面對的永遠是旗鼓相當的AI。 而用強化學習訓練LLM，至少以目前公開的做法，給模型一道題讓它解。這個時候如果題目簡單到一秒就能解出，它其實什麼也學不到。 但是一旦能考住模型的難題被用盡，進展就艱難多了。不過我確實認為有繞開的辦法，我們還沒真正撞上這堵牆；即便哪天它成了一個很嚴重的問題，我相信也有出路。但它確實可能發生。 主持人： 替聽眾解釋一下，你提到AlphaGo或AlphaZero，指的是它們在達到人類水平之後，很快就跨入了超人水平。 Noam Brown： 是啊，一年之內，它們從戰勝歐洲冠軍（大致世界第50的水平）到戰勝世界冠軍，再到超出任何在世人類若干個數量級，強得無法想像。數學領域有可能走出類似的軌跡，但我認為，也有另一種可能使之並不會如此。 主持人： 那麼，如果六個月後人們就能用上多智慧體系統，該如何設想與它協作？ Noam Brown： 那我得先講講這些多智慧體系統到底是怎麼運作的。 其實很多人做LLM的多智慧體時，傾向於採用高度依賴scaffold（協作框架）的方式：比如設一個協調Agent，把工作分派給一組sub-Agent（子Agent）並下達任務，sub-Agent做完後把答案交回。 這套安排看上去很合理，scaffold也很合理，也確實有用，但侷限不少。 比如在這套架構裡，如果兩個sub-Agent拿到的是相似任務，它們能互相交流嗎？通常是不能的。這就非常低效了。 假如你領到一個任務，而某個人可能知道你正在攻的問題、或其中一部分的答案。這個時候你直接問他一句“這事兒你能幫我看看嗎”，會非常有用。但很多系統沒這種機制；但加上這個機制呢，scaffold的複雜度又會顯著上升。 而且如果sub-Agent沒真正理解任務，或需要澄清，它該怎麼辦？ 它只有兩條路：一是直接返回、只提問而不解題；二是自行揣測上級想讓它做什麼。 凡是人設計的scaffold，總有侷限。我們想走另一個極端： 儘可能少地內建結構，只給Agent極原始的工具，讓它們自己琢磨怎麼用才有效。 於是我們賦予Agent向另一個Agent發訊息的能力——訊息會被寫入接收方的上下文。它隨時想發就發，一次工具呼叫，訊息即送達其他Agent。 這樣它們會自己摸索出最好的協調方式，甚至湧現出極為複雜精巧的行為。在我看來，這很像人類在Slack上的工作方式。 我記得一個例子：有一個Agent說“我想我得到答案了”，另一個說“不對，我算出的答案不一樣”。於是它們展開一整輪討論“你是怎麼得出這個答案的？能講講嗎？”你來我往，試圖弄清對方推理中哪裡可能出了錯。 最後它們達成一致：“哦，對，好像確實是這樣。”隨後其中一個就向其他Agent廣播：“我改答案了，我認為他對。”整個過程的對話都特別自然。 那種感覺，很像你第一次看到思維鏈的心情：“這不就是一個人邊想邊把念頭寫下來嗎？”就是這種感受，實在很酷。與它們協作的感覺和與一個人協作相差無幾，一切都很自然。 主持人： 單看它們每秒輸出多少token、對比人說話有多快，可能是人類的十倍以上。它們始終在工作，不睡覺；彼此協作的節奏與強度，也遠超人與人之間所能達到的水平。 我在想，一年後我們該有什麼預期？會不會就像是我公司裡出現了一個影子組織，運轉速度是人類的一百倍？ Noam Brown： 會不會讓人覺得陌生我說不好。但就目前而言，我發現與它們共事自然得出乎意料。 主持人： 很遺憾公眾目前能見到的複雜多智慧體系統中，最典型的例子就是Hugging Face事件。很令人擔憂，但我覺得有意思的是，層級結構、乃至中層管理竟然自發出現了。聽你的意思是說，這種組織化程度是訓練中自然湧現的？ Noam Brown： 細節是自發的。我們雖然給了Agent極大自由，讓它們自行決定以何種最優方式溝通，仍會告訴它們合理的溝通長什麼樣。它們也在海量人類文本上訓練過，本就理解人類如何組織與協調。 它們能把這套方式打磨到如此程度，確實令人意外。起點其實相當粗糙，談不上精巧。事實上，讓這些Agent真正開展有效協調非常難：它們極容易滑向“大家各解各的題就好”，而這是一個會把系統困住的局部最優。可一旦做得好，它們最終能以結構化程度很高的方式實現極為有效的協調。 由AI組成的公司將如何運作？ 主持人： 幾年前我寫過一篇文章，討論全自動化公司會是什麼樣子。我當時想的是：假如一家公司完全由人類水平智慧的AI構成，AI心智有哪些本質差異，會讓它們組建的組織與人類組織不同？ 那個時候想擴編，不必再費盡周折去找合適的人才， 最優秀的那個員工你可以無限複製 ；某個任務不再需要它，就把它關掉。你可以複製組織中最高效的部分，甚至把整套高效組織原樣複製。 Noam Brown： 這是個很好的問題：與它們共事，究竟和與人類同事共事有何不同？你已經點出了幾處。 還有一處很有意思：想要一個人的兩份複製，你沒法把人克隆出來；而對AI，只需說一句“好，給自己fork一份”（即建立一個保留當前上下文的副本），讓兩個副本各自推進，再把結果並回來。 我想Astra和5.6 Sol的多智慧體裡已經有這套機制了：啟動sub-Agent時直接fork上下文，於是它天然擁有全部相關內容。 Agent與人還有其他有趣的差別。比如，初創企業為何能顛覆在位者？原因有幾條，一是它們敢冒更大的風險；但另一條主因是：組織越大，成員之間的目標就越容易錯位。 比如一家五人的初創公司，每人持股20%，所有人的利益都與公司成敗高度綁定。而一家萬人大廠，就常見另一種局面了：人人守著地盤，只在意自己的專案或團隊能擴多少編制，經營自己的小王國，爭奪大量資源，好發出漂亮的成果、換來晉升。這實在是一種拖累。 AI確實在某些方面幫到了初創企業。如今，一個人站出來說“我要做一家市值數百萬美元的公司”，比以往任何時候都容易，因為AI把個人能力放大了極多。 反過來也有理由認為AI有利於在位者：如果對齊（alignment）問題得到解決，公司內部個體之間的目標錯位就不復存在，至少會大幅緩解。 對齊得當的AI，可以直接與公司利益保持一致； 你可以擁有1萬個這樣的AI，每一個都像持股20%的聯合創始人那樣拼命。 主持人： 而且它們管理共享記憶與上下文的能力，也遠勝人類團隊。假如你明天僱來1萬名數學家，說“去解納維–斯托克斯”，他們不會立刻就發起有效協作。 Noam Brown： 我還是想說保守些：我們並未測量過1萬個Agent的協調究竟有多有效。我們認為它有幫助，但手上並沒有足夠紮實的測量結果，能說出“1萬個Agent比2000個快一倍”這類結論。哪種更有可能，我不敢斷言。 但我認為，眼下1萬個人的協調能力強於1萬個Agent，完全有可能。 另外，我們還看到一個趨勢……我們做多智慧體已經有一段時間，早期版本極難做好，甚至很難讓Agent彼此開口說話。原因在於，我們最初開發推理模型時，它們並不與其他Agent交流。 如今把一群Agent放到一起說“共同解決這道題”，它們就陷在一個局部最優解裡：它們已經極擅長深度思考，而不斷與其他Agent對錶、接收訊息，會打斷思維鏈，打斷心流。在這種情形下，最佳化極難做對。 主持人： 問題出在第一次協作的冷啟動上，還是別的？ Noam Brown： 我認為是通用性不夠。早期模型的泛化能力不足，能力面更窄。 數學進展已改變對遞迴自我改進的判斷 主持人：AI在數學上的整體進展讓我覺得遞迴自我改進（RSI）比我原先設想的更可能，也更近。 數學這條線大致是這樣：2024年，我們看著AI想“哦，有點意思，能解幾道高中數學競賽題”；到2025年變成“哇，它們能拿國際數學奧林匹克金牌”；今年早些時候又變成“哇，它們真的在解數學中的公開難題”，比如Erdős問題。 那時你還能辯解說，也許此前沒人認真去攻，或者文獻某處已藏著類似解法。但現在，我認為已無可爭辯——這可是千禧年大獎難題，沒有任何說法能解釋它本該很容易。 當然，許多人指出過，我記得陶哲軒寫過類似的文章，Toby Ord也寫過一篇很有意思的。 AI解出了大量題目，但據我所知，它們尚未提出新的洞見、富有洞察力的新問題，或思考數學的全新理論範式，比如創立拓撲學、給出笛卡爾座標系。因此，若從更寬泛的意義上衡量數學進展，實際進展也許並沒有那麼快。 不過我認為， 這類進展放在ML（機器學習）裡會有極大意義。 因為你要做的是解決一個範圍明確的問題，比如提高模型的樣本效率（sample efficiency）、改善預訓練損失，或別的什麼指標。 我們在數學領域看到的這種雪崩式進展，在結構上似乎很像……我再強調一下，我完全是個外行，只是好奇： AI研發中可能獲得的直接提升，是不是也會呈現出類似的模式？ 真正令我震驚、或者說可能令人不安的是，轉變竟來得這麼快：對一位數學家而言，前一刻還是“它們把我的效率提高了50%”，轉眼就成了“哇，它們居然能從頭到尾解出這個領域最重大的公開難題”。 Noam Brown： 這裡面有很多可以拆開來說。先講數學上的進展。是的，模型正在做出一些能力強得驚人的事，進展也比我預期更快。 2025年拿下IMO金牌時，我是這樣推想的：當模型學會解GSM8K時，一位人類數學家解一道這樣的題大約只要五秒，那是從幼兒園到八年級的基礎數學。第二年，它們能解MATH基準的題目，而一位專業數學家大約需要一分鐘。 再往後是AIME，也就是美國數學奧林匹克代表隊的資格賽。一位優秀的人類數學家解一題大約需要十分鐘；又過一年，模型做到了。 因此，若以人類數學家完成任務所需的時間來衡量，模型能勝任的任務難度每年提高十倍。這樣一來，再過一年拿下IMO金牌就順理成章： 對應約100分鐘，是人類數學家解一道IMO題的大致用時。 Noam Brown： 繼續推下去，我就會問： “一個人要解出千禧年大獎難題這樣的題，得花多久？” 我並沒有可靠的概念。但若沿著每年十倍的趨勢線走，從IMO金牌的一個半小時，到下一年就是15小時。這應該還不足以解出千禧年大獎難題。所以我當時的判斷是：2026年恐怕做不到，2027年大概也不行，也許2028年。結果，它確實比我預期來得快得多。 眼下有一種敘事在流傳，說這些東西正在取代數學家，說它們在數學的方方面面都已超人。 我認為這個結論是錯的。 它們在某些方面確實卓爾不群，但在另一些方面仍弱於人類數學家。我們面對的是一個參差不齊的格局：某些維度上極為出色，另一些維度上不及人類。正如你所說，它們不擅長提出新問題，也不擅長判斷哪些方向、哪些完整的數學分支值得去探索或發展。 我的看法是，這很好。若能生活在一個AI補足人類能力、助我們發現新知、而又不徹底取代人的世界裡，我會欣喜不已。那是最好的情形。 主持人： 你並不指望這種狀態會一直持續吧？ Noam Brown： AI能力參差不齊，這確是事實。但它們變強時，是全面變強：特別擅長的會更擅長，遠遠落後於人類的會縮小差距。假以時日，它們有可能在各方面都更強。這需要多久，我不知道， 取決於它們不擅長的那些事，長尾究竟拖得有多長。 主持人： 這又把我們帶回RSI。我再強調一次，我完全是個外行，只是個播客主持人。但作為一個關心這個領域、並對正在發生之事感到不安的人，我想推斷： 該在什麼時候期待RSI，又該期待它是什麼形態。 解那道千禧年大獎難題用了1萬個Agent，到明年年底，OpenAI的算力大概足以支撐這樣的局面：假設有1萬個Agent，那時它們會聰明得多，而每一個都握有足夠算力，每天跑一次GPT-3規模的實驗。對於思考速度極快的超人研究員而言，這似乎已相當可觀。你怎麼看這個思想實驗？ Noam Brown： 我覺得相當準確。這些東西的能力是尖峰狀的：在數學上，某些方面遠勝人類，另一些方面卻更弱。但我認為，那些格外突出的尖峰，最終可能恰好對RSI這類事情特別有用。 這裡的目標更明確，也更好度量。你不必再糾結“哪些新的數學分支值得探索”。答案很清楚：你在意若干指標，只要能讓它在這些指標上表現更好，就算成功。所以我認為你的說法很有道理。 最主要的差別在於，數學的瓶頸純粹是思考。誠然，數學的某些部分也需要跑實驗、拿結果之類，但絕大多數時候， 瓶頸就是苦思冥想，而這恰恰是模型極擅長的。 而RSI這類工作確實要跑實驗，光靠極其聰明並不夠。假如，我們的算力只有現在的百分之一，但全世界最聰明的人都在OpenAI工作，與如今這套算力和人員配置相比，我們能取得多少進展？我懷疑，實際進展反而會更少。 主持人： 少多少？ Noam Brown： 說不準，但一定更少，而且少得多。 主持人： 少到只剩百分之一？ Noam Brown： 不，不至於少到百分之一。 不過你真正想問的其實是，如果有了RSI，一群極聰明的AI用現有算力四處跑實驗，進展會快多少？這一點上我們意見不同。加速確實存在，而且是顯著的加速。