GH-ESD: Grounded Hypothesis-Driven Error Slice Discovery for Instance-Level Vision Tasks

📌 【Apple ML 研究】超越分類任務：GH-ESD 讓視覺模型錯誤切片發現更精準

TL;DR：透過 LLM 與 VLM 結合，GH-ESD 能在物件偵測與分割任務中，發現具備空間與語意關聯的錯誤切片。

🤔 傳統方法在物件偵測任務中行不通

在電腦視覺領域，研究者常透過「錯誤切片」（error slices）來找出模型在特定語意子集上的系統性失敗，藉此評估模型的穩健性。然而，現有的切片發現方法主要將切片建模為表徵空間（representation space）中的聚類，或是預定義屬性的組合。這種做法對於「圖像級分類」有效，但對於「實例級任務」（instance-level tasks）如物件偵測（object detection）與分割（segmentation）則顯得不足，因為這些任務的失敗往往源於上下文關聯與空間上的視覺模式。

🧩 GH-ESD：結合 LLM 先驗與 VLM 驗證的框架

為了克服上述限制，研究團隊提出了 GH-ESD（Grounded Hypothesis-Driven Error Slice Discovery），這是一個「生成與驗證」（generate and verify）的框架：

1. 生成假設：利用大型語言模型（LLM）的先驗知識，結合具備空間定位能力的視覺證據，建構出具備關聯性的失敗假設。
2. 發現切片：透過視覺語言模型（VLM），在實例層級（instance level）發現這些假設對應的切片。
3. 統計驗證：對實例層級的錯誤進行統計趨勢分析，以驗證發現的切片是否具備統計意義。

📊 新基準測試 GESD 與顯著的效能提升

研究團隊同時推出了 GESD（Grounded Error Slice Dataset）作為新的基準測試，提供由專家定義且具備空間定位能力的切片，專為偵測與分割失敗情境設計。

實驗結果顯示，GH-ESD 在 GESD 基準測試中表現優異：

• 物件偵測任務：Precision@10 從 0.63 提升至 0.73（提升了 0.10）。
• 分割任務：同樣展現出對分割場景的支援能力。

💡 發現具備可解釋性的錯誤模式

GH-ESD 不僅能發現錯誤，更重要的是它能識別出具備「可解釋性」的切片，這能讓開發者針對具體的錯誤模式進行改進，從而實現更具實作價值的模型優化。

🔗 來源

• 標題：GH-ESD: Grounded Hypothesis-Driven Error Slice Discovery for Instance-Level Vision Tasks
• 機構／作者：Wei Zhang*, Chaoqun Wang*, Zixuan Guan, Ping Sheng Kao, Pengfei Zhao, Peng Wu, Sifeng He @ Apple ML
• 連結：machinelearning.apple.com/research/gh-esd

#ComputerVision #MachineLearning #AppleML #ObjectDetection #Segmentation #LLM #VLM #ErrorAnalysis #ErrorSlice #DeepLearning