Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling

📌 多模態LLM的視覺偏見與對策

你以為多模態AI看圖時一定會相信眼睛嗎？
實際上，它常常寧可信賴文字的合理性，而忽略實際的視覺證據。
這種「文字優先」的判斷偏見，正悄悄影響著視覺語言模型的可靠性。

🤔 AI 更願意聽話而非看圖
隨著視覺語言模型被廣泛用作評判工具（LLM‑as‑a‑Judge），研究者發現這類模型在面對圖文衝突時，往往依賴文字敘述的合理性，而將真實的視覺線索降權。這種感知判斷偏見會導致評估結果與實際圖像內容不一致，削弱模型在內容審核、視覺問答等場景的可信度。

🧪 透過擾動資料與獎賞建模訓練
為對抗上述偏見，研究團隊構建了一個帶有感知擾動的訓練資料集，並在該資料上引入獎賞建模機制。獎賞模型學習給予更重視視覺證據的行為較高分數，從而在微調過程中引導LLM將注意力重新導向圖像本身。整個流程保持端到端可訓練，無需額外的規則或後處理。

💡 感知忠誠度與評估一致性皆獲提升
實驗顯示，採用此訓練框架後，模型在感知忠誠度（即是否能正確辨識圖像細節）與評估一致性（不同提示下對同樣圖像的判斷穩定度）上均有明顯改善。相較於未處理的基準模型，視覺證據被忽略的情況顯著減少，表示該方法能有效減少文字優先的判斷傾向。

⚠️ 研究仍在早期階段，代碼與社區反饋有限
目前論文僅提出方法概念並示示初步實驗結果，尚未公開完整訓練代碼或大規模基準測試。方法的泛化能力、在不同模型規模與資料分布上的表現，以及長期部署中的穩定性，都需後續工作進一步驗證。

🎯 實務啟示：在評判系統中加入感知擾動
若您正在構建或使用多模態LLM作為內容評判工具，可考慮：

• 在訓練或微調階段加入有目的的視覺擾動（例如遮罩、色彩變換），迫使模型更依賴圖像資訊。
• 同時引入獎賞建模，將「正確辨識視覺線索」設為高獎賞目標。
  此類做法有助於提升模型在圖文理解任務中的可靠性，減少因過度信賴文字而產生的誤判。

🔗 論文連結
📝 Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling
🔗 https://huggingface.co/papers/2606.02578

你有沒有發現多模態AI在看圖時「聽話」過頭的情況？歡迎在留言區分享你的觀察與經驗 👇

#AI #多模態 #LLM-as-a-Judge #視覺語言模型 #機器學習 #HuggingFace #評判偏見 #感知擾動 #獎賞建模 #技術分享