GPT-5.5 Codex reasoning-token clustering may be leading to degraded performance

📌 GPT-5.5 Codex 出現 Token 分佈異常，複雜任務效能恐因此下降

TL;DR：使用者發現 GPT-5.5 的推理 token 數呈現特定數值聚集，可能導致複雜任務回答錯誤。

當我們依賴 LLM 處理高難度任務時，推理 token（reasoning tokens）的數量通常代表了模型的「思考深度」。但如果這些 token 的數量被限制在某些固定數值，會發生什麼事？

🤔 推理 Token 出現異常的「聚集現象」

在 GitHub 的 Codex 討論區中，使用者 vguptaa45 觀察到一個異常的資料模式：GPT-5.5 的 reasoning_output_tokens 數量並非隨機分佈，而是不成比例地大量落在 516 這個精確數值上。此外，在 1034 與 1552 這些特定邊界也出現了明顯的峰值（spikes）。

🧩 特定 Token 數量與錯誤答案的關聯

這種「Token 聚集」現象被認為與模型效能下降有關。根據該 Issue 提到的相關討論（#29353），有案例顯示當 GPT-5.5 的推理過程在正好 516 個 token 時結束，模型往往會給出錯誤的答案。

作者指出，這種現象具有模型特異性，且伴隨著整體推理 token 強度的下降，這可能解釋了為何模型在處理複雜或高風險（high-stakes）的 Codex 任務時，表現不如預期。

📊 從單一案例演變為大規模證據

此次回報並非單一的偶然發現，而是基於 2 月至 6 月間的大量資料分析，提供了更具規模的聚合證據（aggregate evidence），顯示這種 token 分佈異常是一個系統性的行為，而非個別任務的隨機錯誤。

🎯 實務啟示

對於依賴 LLM 進行複雜邏輯推演的工程師來說，這提醒我們：當模型在特定長度地截斷推理過程時，其產出的正確率可能會大幅下降。在評估模型效能時，除了觀察最終答案，追蹤推理 token 的分佈情況，或許能幫助我們預判模型是否在「思考不足」的情況下強行輸出結果。

🔗 來源

• 標題：GPT-5.5 Codex reasoning-token clustering may be leading to degraded performance
• 連結：https://github.com/openai/codex/issues/30364

#LLM #GPT5 #OpenAI #Codex #TokenClustering #ReasoningTokens #ModelBehavior #SoftwareEngineering #AIPerformance #Debugging