Towards Direct Evaluation of Harness Optimizers via Priority Ranking

📌 【Yonsei 大學等】直接評估 Harness 優化器：優先排名法

你以為讓 AI 代理自動優化只是試錯？新研究指出，優化器的每一步決策其實可以直接量測，而不必等到最終效果才知道好壞。

🤔 間接評估忽略了優化器的中間步驟
現有研究多只觀察目標代理在經過優化後的性能提升，這種「最終結果」的評估無法得知優化器在每次更新時是否真的做出了有益的調整，還是只是隨機嘗試。缺乏對中間步驟的直接檢視，使得我們難以判斷優化是否來自於有見地的更新。

🧪 以優先排名直接量測優化器能力
論文提出一個低成本的直接評估設計：讓優化器對給定 harness 中的元件（例如工具）進行排序，預測該元件被更新後是會提升還是降低代理表現。此排序任務稱為 priority ranking。為支援此任務，研究團隊建立了 Shor，一個包含 182 個人工驗證的優化情境資料橫跨不同領域、設計與時間階段。透過讓優化器完成排名，即可在不需要昂貴的多步驟模擬或人工檢查的情況下，取得其逐步決策能力的量化指標。

📊 排名表現與真實優化效果呈正相關
實驗顯示，優化器在 priority ranking 上的得分與其在實際多步驟 harness 優化中提升目標代理的能力顯著相關。這表示，能夠正確預測哪個元件更新會有利或有害的優化器，也較可能在真實的優化過程中產生有效的改進。優先排名因此被證實為評估優化器能力的可靠預測指標。

💡 步驟層面的評估揭示優化器的真實運作方式
透過直接觀察優化器的排名決策，研究者可以區分兩種行為模式：一是基於對元件功能的了解進行有情報的更新；另是則像是盲目的試錯。這種細膩的視角有助於理解優化器是否真的在學習如何改進 harness，還是只是在隨機搜尋中偶然命中好的配置。

⚠️ 研究限制：依賴人工驗證情境與特定領域
Shor 資料集雖然橫跨多個領域，但仍是人工標註的情境集合，可能無法完全覆盖所有可能的 harness 設計。此外，本研究主要驗證了 priority ranking 與實際優化效果的相關性，尚未探討在極端大規模或即時環境下的適用性。

🎯 實務啟示：優先排名可作為快速篩選與回饋工具
對於正在開發 agent 系統的研究者與工程師，可在優化器的早期階段讓其完成 priority ranking，以低成本檢視其決策品質。這不僅能加速優化器的迭代，也提供了一種可量化的方式來比較不同優化策略（例如不同的提示設計或強化學習配置）在「一步」層面的優劣。

🔗 論文連結
📝 Towards Direct Evaluation of Harness Optimizers via Priority Ranking
👤 Kai Tzu-iunn Ong, Minseok Kang, Dongwook Choi, Junhee Cho, Seungju Kim (Yonsei University; Microsoft Research Asia; Texas A&M University)
🔗 https://arxiv.org/abs/2605.22505
💻 程式與資料：https://github.com/k59118/Harness_Optimizer_Evaluation

#AI #AgentSystems #HarnessOptimization #PriorityRanking #Yonsei #MicrosoftResearch #TexasA&M #機器學習 #代理優化