NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

📌 NatureBench：AI 編碼代理能複製《Nature》論文的 SOTA 成果嗎？

TL;DR：NatureBench 透過 90 個科學任務揭露，目前的 AI Coding Agent 僅能進行方法翻譯，尚不具備真正的科學創新能力。

當我們習慣於讓 AI 寫簡單的 Python 指令碼或修復 Bug 時，一個更深層的問題隨之而來：AI 能否像科學家一樣，根據頂級期刊的研究論文，獨立實現並達到其發表的 SOTA（State-of-the-art）效能？

🤔 從「重複」到「發現」的鴻溝

NatureBench 建立了一個跨領域的基準測試，從《Nature》系列期刊的出版物中提取了 90 個科學任務。這個測試的核心目標不再是單純的程式碼複製（Reproduction），而是評估 AI 編碼代理（Coding Agents）是否能達成真正的「發現」（Discovery）。

🧩 方法論翻譯 $\neq$ 科學創新

研究結果顯示，目前的 AI 編碼代理在處理這些科學任務時，表現出明顯的侷限性：

• 依賴方法翻譯：AI 主要是在執行「將論文描述的方法轉譯為程式碼」的過程。
• 缺乏創新能力：儘管能完成程式碼實作，但這種能力僅止於方法論的翻譯，而非真正的科學創新。

🎯 實務啟示

對於開發 AI Agent 的工程師而言，這項研究提醒我們，目前的 LLM 在處理高度複雜、需要跨領域推論的科學任務時，仍缺乏從「實作」跨越到「發現」的跳躍能力。若要讓 AI 真正輔助科學研究，未來的開發重點應放在如何提升模型對科學邏輯的深層理解，而非僅是強化程式碼生成能力。

🔗 來源

• 標題：NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?
• 連結：https://huggingface.co/papers/2606.24530

#AI #CodingAgent #NatureBench #ScientificDiscovery #LLM #Benchmark #SOTA #CrossDisciplinary #AIforScience #MachineLearning