何愷明團隊新作：看貓片就能學會ARC挑戰
https://www.qbitai.com/2026/10/499812.html📌 何愷明團隊新作：看貓片學會解 ARC 抽象推理
TL;DR：純視覺模型靠 ImageNet 貓狗圖預訓練，在 ARC-1 上逼近專用 LLM 系統水平。
教會 AI 做抽象推理題的，可能不是更大的語言模型，而是幾十萬張貓狗花草的照片。MIT CSAIL、何愷明團隊的最新論文提出 NAT-ARC，一套完全不靠大語言模型的視覺方案，用 ImageNet 自然影像預訓練視覺編碼器，再把學到的能力遷移到抽象的彩色格子推理任務上。
🤔 ARC 為什麼難，視覺路線又卡在哪
ARC（Abstraction and Reasoning Corpus）由 Keras 之父 François Chollet 在 2019 年提出，被視為衡量 AI 抽象推理能力的標竿測驗。每道題給出一塊最大 30×30、最多 10 種顏色的二維格子，提供 2 到 5 組輸入輸出示例，挑戰者要從中歸納出隱藏的變換規則，再套用到全新的格子上。難點有二：每道題的規則都不同、沒有固定模板，而且示例極少，模型必須用極小樣本歸納出精確規則。
目前 ARC 賽道上佔主流的解法幾乎都是把格子翻譯成文字或符號交給 LLM 處理。後起的視覺路線則直接用視覺模型處理格子影像，代表作是同一個 MIT 團隊提出的 VARC，把 ARC 重新定義為條件圖生圖翻譯任務，用 1,900 萬參數跑到 54%；之後 LoopViT 加入迴圈推理機制，1,800 萬參數達到 65.8%；Loop-OWM 用影片預訓練模型做 few-shot，1,060 萬參數達到 68.5%。但這些視覺模型大多從隨機初始化開始訓練，沒有吃到預訓練紅利，而 LLM 方案之所以能持續進步，很大程度正是靠海量語料預訓練累積的通用能力。NAT-ARC 的目標，就是幫視覺路線補上這塊缺口。
🧩 在 VARC 流程前插入一步 ImageNet MAE 預訓練
NAT-ARC 的核心做法，是在 VARC 的視覺流程前加入一步用 Masked Autoencoder（MAE）在 ImageNet 上的預訓練。MAE 是何愷明在 FAIR 時期於 2022 年提出的自監督視覺方法，訓練時遮住圖片大部分區域，讓模型從殘餘碎片中復原原圖，藉此學會理解物體的形狀、結構與空間關係。
整體流程分三步：第一步，用 ImageNet（約 130 萬張貓狗花草等自然影像）上的公開 MAE checkpoint 初始化視覺編碼器的 encoder 權重，decoder 則從隨機初始化開始；第二步，在 ARC 訓練集上離線訓練整個編解碼器；第三步，測試時針對每道題單獨做 LoRA 微調，僅憑該題的 2 到 5 組示範對學會這道題的規則。
由於原始 MAE checkpoint 是為更大尺寸的 ImageNet 圖片設計，而 ARC 格子只有 64×64 像素，團隊丟棄了原始的 patch embedding 與位置編碼，只保留 backbone 權重，改用 2D RoPE 作為位置編碼——換句話說，只繼承 MAE 學到的視覺特徵提取能力，捨棄與 ImageNet 影像尺寸綁定的部分。
📊 70.2% pass@2，用四分之一參數逼近專用 LLM 系統
研究人員用注意力視覺化比較三種初始化方式：隨機初始化、ImageNet MAE 預訓練、ARC 風格格子 MAE 預訓練。結果顯示隨機初始化的模型注意力均勻分散，而 ImageNet 預訓練過的模型即使從未見過 ARC 格子，也已能區分前景背景，注意力自動聚焦到格子中有意義的圖案區域。
進一步的任務級分析篩出 15 道預訓練後顯著提升的題目，其中 6 道屬於 match-and-copy（識別匹配的物件、顏色或圖案並複製到輸出），另 6 道屬於 connected-component reasoning（識別、填充或重新著色空間上連通的區域）——這恰好對應自然影像裡「從背景分出物體」的視覺先驗。
最終成績上，表現最好的單模型採用 huge 規模（0.6B 參數），在 ARC-1 上拿下 pass@2 63.4±0.7%；把三種不同預訓練策略訓出的模型（無預訓練、ImageNet MAE 預訓練、ARC 風格格子 MAE 預訓練）池化做多數投票整合後，達到 pass@2 70.2±0.6%，總參數量約 2B。作為對照，專門針對 ARC 微調、使用 8B 語言模型的 The ARChitects 拿到 71.6%。
訓練曲線顯示，用了 ImageNet 預訓練的模型在 base、large、huge 三個尺度上收斂都更快、最終精度也更高。更關鍵的是 scaling 曲線：沒有預訓練時，模型從 base 到 large 效能還能提升，但到 huge 反而掉點，顯示 ARC 資料量太少，模型容量增長反而導致過擬合；加上 ImageNet 預訓練後，三個尺度一路向上，scaling 曲線變得健康。
論文還做了一個視覺化驗證：訓練一個 autoencoder，把 ImageNet 影像映射成 60×60、10 色的離散格子表示，再用 NAT-ARC 對這個格子執行旋轉 180 度、加一圈藍色邊框的 ARC 變換，解碼回像素後，貓確實被轉了、邊框也確實加上了——把「自然影像與 ARC 格子共享同一套表徵空間」從統計數字變成了可視化證據。
⚠️ 仍略遜於專用 LLM 系統
整合後的 70.2% 雖然逼近，但仍低於 The ARChitects 用 8B 語言模型微調拿下的 71.6%，顯示純視覺路線雖已大幅拉近差距，尚未真正超越專用 LLM 方案。
💡 視覺與抽象世界，共享同一套表徵
這篇論文最重要的發現，或許不是分數本身，而是證明了預訓練能打通視覺路線的 scaling 瓶頸：在自然影像上學會的「把物體從背景裡認出來」的能力，遷移到抽象格子上就變成「把連通的彩色區域從格子裡認出來」。一作 Xiaoman Delores Ding 同時也是 VARC 的一作，NAT-ARC 是在自己前作基礎上的延伸；其餘作者包括本科畢業於上海交通大學的胡珂雅（Keya Hu），以及 MIT 本科生 Katelyn Gan、Victor Yin；通訊作者何愷明則是用自己四年前提出的 MAE，打通了一條新的研究路線。VARC 已被 CVPR 2026 接收，NAT-ARC 是其直接後續。
🎯 實務啟示
對做小模型、資源有限的團隊而言，這項工作提示了一條可行路徑：與其堆更大的 LLM，不如善用現成的自監督視覺預訓練權重（如公開 MAE checkpoint），搭配 test-time LoRA 微調，就可能在特定抽象推理任務上用遠小的參數量逼近大模型效果。
🔗 來源
- 標題：何愷明團隊新作：看貓片就能學會ARC挑戰
- 作者／機構：鷺羽／量子位
- 連結：https://www.qbitai.com/2026/10/499812.html
#ARC #KaimingHe #MAE #ComputerVision #SelfSupervisedLearning #AbstractReasoning #MIT #DeepLearning #ImageNet #FewShotLearning
原始資料 量子位 · 收集於 2026-10-01
摘要原文
何愷明團隊新作：看貓片就能學會ARC挑戰 鷺羽 2026-10-01 23:06:30 來源： 量子位 用ImageNet訓練encoder 克雷西 發自 凹非寺 量子位 | 公眾號QbitAI 教會AI做ARC抽象推理題的，竟然是貓貓？ 何愷明團隊最新論文提出了 NAT-ARC，一套純視覺的ARC解題方案。 它不靠LLM，用ImageNet上的貓狗花草做預訓練，讓模型學會「看」，再遷移到抽象格子推理上。 結果，NAT-ARC表現最好的單模型在ARC-1上跑出了63.4%的pass@2分數，整合後達到70.2%。 這是純視覺方案首次 逼近專用LLM系統 的水平。 ARC，公認最難的AI視覺智力測驗之一，給你幾個彩色格子的輸入輸出示例，讓你推斷背後隱藏的變換規則，再應用到新格子上。 過去的主流解法清一色把格子翻譯成文字或符號，交給LLM推理。 這篇論文偏不，甚至預訓練階段連ARC格子都沒用上。 模型看真實世界學來的視覺能力，就水靈靈地遷移到了完全抽象的彩色格子推理上。 ARC賽道，視覺方案崛起 ARC全稱Abstraction and Reasoning Corpus，由Keras之父François Chollet在2019年提出。 ARC裡每道題的格式很統一，一塊最大30×30的二維格子，最多10種顏色，題目給2到5組輸入輸出示例，挑戰者需要從示例中推斷出隱藏的變換規則，再把這條規則應用到一個全新的輸入格子上，預測它的輸出。 這些問題聽起來像看圖找規律的兒童智力題，但ARC對AI來說極難。 一方面，每道題的變化規則都不一樣，沒有固定模板可背。 還有就是資料量極少，兩三個示例就要歸納出抽象規則，並且精確執行。 這種組合讓ARC成了 測量AI抽象推理能力的標杆 。 目前ARC賽道上佔據統治地位的幾乎全是大語言模型方案，這些方案的共同思路都是把格子翻譯成文本或符號序列，交給語言模型處理。 視覺路線後來才開始崛起。 一批研究者走了一條完全不同的路，他們不把格子翻譯成文字，改成了用視覺模型直接處理格子影像。 其中最重要的一步來自同一個MIT團隊提出的 VARC ，這個方法把ARC重新定義為條件圖生圖翻譯任務，用19M參數的視覺模型跑到54%。 LoopViT在這個框架上加入迴圈推理機制，18M參數達到65.8%。 Loop-OWM用影片預訓練模型做few-shot，10.6M參數達到68.5%。 這些模型的參數量比LLM方案小了幾個數量級，但效果已經開始追平。 但視覺路線依然有一個結構性短板。 LLM之所以能在ARC上越做越好，核心原因之一是它們通過海量語料預訓練，積累下了通用能力，模型越大、預訓練越充分，在下游任務上的scaling就越明顯。 而多數視覺ARC方案的模型從隨機初始化開始訓練，沒有吃到預訓練的紅利。 在此基礎上，NAT-ARC的目標就是給視覺路線補上預訓練這一步，試著打通它的scaling瓶頸。 看完貓貓，挑戰ARC NAT-ARC的核心思路，是 在VARC的視覺流程前面插入一步ImageNet MAE預訓練 。 MAE，Masked Autoencoder，是何愷明在FAIR時期2022年提出的自監督視覺預訓練方法。 其訓練過程，是把一張圖片遮住大部分割槽域，讓模型從剩下的碎片裡把原圖復原出來。 通過這個任務，模型就可以理解物體的形狀、結構和空間關係。 NAT-ARC的做法是把MAE在ImageNet（包含約130萬張貓狗花草等自然影像的資料集）上訓出來的encoder權重直接拿來初始化視覺編碼器，decoder則從隨機初始化開始訓練。 整個流程分三步。 第一步，用ImageNet上的MAE預訓練encoder； 第二步，在ARC訓練集上離線訓練整個編解碼器； 第三步，在測試時對每道題單獨做LoRA微調。 微調階段，每道題只有2到5組示範對，模型用這幾組示範試圖從中“學會”這道題的規則。 有個細節值得注意，NAT-ARC直接用了MAE的公開checkpoint，沒有額外花一分錢預訓練。 不過，這個checkpoint原本是為更大尺寸的ImageNet圖片設計的，而ARC格子只有64×64畫素，尺寸差異很大。 為了適配，NAT-ARC丟棄了原始的patch embedding和位置編碼，只保留backbone權重，換成2D RoPE作為位置編碼。 簡單說，NAT-ARC只保留了MAE在ImageNet上學到的視覺特徵提取能力，而把與ImageNet影像尺寸綁定的空間感知部分全部丟掉，用更靈活的方式重新學習。 但為什麼看貓狗照片學到的東西，能幫到抽象格子推理？ 論文用注意力視覺化給出了一條線索。 研究人員把三種初始化方式（無預訓練、ImageNet MAE預訓練和ARC風格格子MAE預訓練）的模型放在同一道ARC題前，觀察它們在還沒開始訓練ARC之前的注意力分佈。 結果很明顯，隨機初始化的模型注意力均勻分散，毫無重點；而ImageNet預訓練過的模型已經能區分前景和背景，注意力自動聚焦到格子中有意義的圖案區域上。 這個模型從來沒見過ARC格子，它在ImageNet上學到的「把物體從背景裡認出來」的能力，在ARC格子上天然生效了。 研究人員進一步做了任務級拆解。 他們篩出了15道預訓練後顯著提升的ARC題目，手動標註後發現這些題集中在兩類任務上。 其中6道屬於match-and-copy，模型需要識別出匹配的物件、顏色或圖案，再把對應的結構複製到輸出中； 另外6道屬於connected-component reasoning，模型需要識別、填充或重新著色空間上連通的區域。 這兩類能力恰好對應自然影像裡的視覺先驗。 在ImageNet上看貓學到的「把貓從草地背景裡分出來」，到了ARC裡變成了「把這塊連通的彩色區域從格子裡認出來」。 視覺世界和抽象世界的底層邏輯，在物體分組、圖案匹配、區域分割這些操作上，原來共享同一套表徵。 從貓貓中來，到貓貓中去 NAT-ARC最終在ARC-1上的成績如下。 表現最好的單模型採用huge尺度，參數量0.6B，pass@2成績達到63.4±0.7%。 整合時，研究人員把三種不同預訓練策略（無預訓練、ImageNet MAE預訓練、ARC風格格子MAE預訓練）分別訓出的模型池化在一起做多數投票，拿到70.2±0.6% pass@2，總參數量約2B。 作為參照，專門針對ARC微調的The ARChitects拿到71.6%，用的是8B的語言模型。 視覺路線用四分之一的參數量，打到了專用LLM系統的城下。 數字之外，這篇論文最重要的一個發現，就是預訓練打通了視覺路線的scaling瓶頸。 沒有預訓練時，模型越大效果反而越差；加上預訓練後，scaling才開始代理正收益。 先看訓練曲線。在離線訓練階段，用了ImageNet預訓練的模型收斂速度明顯更快，在base、large、huge三個尺度上都是如此，最終精度也更高。 但最有意思的發現藏在scaling曲線裡。 沒有預訓練時，模型從base到large效能還能漲，但從large到huge反而掉點了。 模型變大，效果變差，這在深度學習裡不是常見現象，說明ARC這個任務的資料量實在太少，模型容量增長帶來的不是更強的泛化而是過擬合。 而加上ImageNet預訓練後，scaling曲線變得健康了，base、large、huge三個尺度一路向上，模型越大效果越好。 論文裡最酷的一個實驗是一個視覺化驗證。 研究人員訓了一個autoencoder，把ImageNet影像對映到一個60×60、10種顏色的離散格子表示上，相當於把一張貓片「翻譯」成了ARC格子。 然後，他們用NAT-ARC對這個格子執行ARC變換，旋轉180°、加一圈藍色邊框，再解碼回畫素。 結果，貓確實被轉了，邊框也確實加上了。這個從貓貓裡訓練出的模型，又在任務裡回到了貓貓之中。 這個實驗把「自然影像和ARC格子共享同一套表徵空間」從統計數字變成了視覺化證據。 在ARC格子上學會的變換規則，可以直接應用到自然影像的潛在表示上，反過來也一樣。 抽象規則和視覺表徵之間的連線，是這兩個世界本來就有的。 作者簡介 論文一作Xiaoman Delores Ding，MIT CSAIL成員，來自何愷明組。 她同時也是VARC的一作，這篇NAT-ARC相當於在自己上一篇工作的基礎上繼續往前推。 其餘作者包括胡珂雅（Keya Hu），是何愷明首批女弟子之一，本科畢業於 上海交通大學 。 還有Katelyn Gan和Victor Yin，同樣來自MIT，兩人都是本科生，且均在CSAIL擔任student researcher。 通訊作者何愷明不必多說，他是ResNet和MAE的作者，從這兩個工作幾乎可以串起近十年視覺AI的主線。 他從進入MIT後持續產出視覺基礎工作，這篇論文用的正是他自己四年前提出的MAE作為預訓練工具，等於用自己的舊武器打通了一條新路。 VARC已被CVPR 2026接收，NAT-ARC是它的直接後續。 這個團隊連續兩篇論文堅持純視覺路線解ARC，在LLM大行其道的賽道上，它們正在用實驗資料不斷突破視覺路線的天花板。 論文地址： https://eccv.ecva.net/virtual/2026/poster/5527 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 何愷明 貓 鷺羽 谷歌Gemini 4突然釋出！RSI加持，GPT和Opus都讓讓 2026-10-01 Qwen一號位定了！劉大一恆接棒 2026-09-23 通用能力不打折，空間具身智慧斷層領先！ZDTaichu5.0-9B國產開源，躋身全球多模態第一梯隊 2026-09-16 今年外灘最特別Agent：能幹活，能陪聊，還會朋友圈拉黑你 2026-09-13 相關閱讀
由 claude-code/sonnet 自動生成