Model Routing Is Simple. Until It Isn’t.

📌 【HuggingFace Blog】模型路由看似簡單，實則是系統最佳化難題

TL;DR：企業將模型路由當分類問題做，卻忽略快取與互動模式，實際成本反超預期。

在 agent 架構裡加一個 router，把簡單任務丟給便宜模型、難任務留給貴模型，聽起來是穩賺不賠的設計。但 HuggingFace 轉載 IBM Research 的文章直言：多數路由系統假設「選模型」是分類問題，實際上很快就會變成系統最佳化問題。

🤔 路由不是分類，是系統最佳化

文章指出，常見做法是用量化規則或分類器決策：依任務難度或專長分流（例如 Claude 處理程式碼、Gemini 處理多模態）。但作者群在構建 agentic systems 的路由實踐中發現，原本像模型選擇的問題，會迅速演變成橫跨模型、工作負載與服務基礎設施的系統最佳化問題，並點出至少三個讓他們吃虧的維度。

💡 帳面價格會騙人：快取才是隱形關鍵

作者預期 GPT-4.1 會比 Claude Sonnet 4.6 便宜，結果相反。在 AppWorld Test Challenge 的 417 個任務上，使用相同的 CodeAct agent：Sonnet 總成本 79 美元（每任務 0.19 美元），GPT-4.1 總成本 155 美元（每任務 0.37 美元），近乎兩倍。

單看定價，GPT-4.1 的輸入與輸出 token 價格都較低，且 Sonnet 完成同樣任務約多花三倍推理步數，理應更貴。差異來自 caching——大多數路由討論完全忽略這點。agent 工作負載會在步驟間重複使用大量上下文，快取命中率高時，有效輸入成本驟降；Sonnet 較低的 cache-read 定價讓它受惠更多，足以抵消較高基價與較長軌跡。結論是：真實成本取決於模型、工作負載與服務架構的相互作用，只看價目表的 router 是在錯誤數字上最佳化。

⚠️ 複雜度不只是任務難度

摘要僅揭露第二個維度的標題「Complexity Is More Than Task Difficulty」，正文在素材中截斷，未提供進一步說明，故不推測其內容。

🎯 實務啟示

若你正在設計 agent 的模型路由層，別只拿模型公開定價或任務分類器就交差。先量測你自家工作負載的快取命中率與實際軌跡長度，把 serving infrastructure 的行為納入成本模型，否則路由決策可能讓帳單不減反增。

🔗 來源

• 標題：Model Routing Is Simple. Until It Isn’t.
• 作者／機構：Yara Rizk, Eyal Shnarch, Jason Tsay, Merve Unuvar @ IBM Research（發表於 HuggingFace Blog）
• 連結：https://huggingface.co/blog/ibm-research/model-routing-is-simple-until-it-isnt

#ModelRouting #AgenticSystems #LLMCost #Caching #SystemOptimization #Claude #GPT41 #HuggingFace #IBMResearch #AppWorld