MarkTechPost ★ 95 4 min

Skyfall AI Releases MORPHEUS: A Persistent Enterprise Simulation Benchmark That Makes Continual Reinforcement Learning Necessary Under Structured Non-Stationarity

Agentic AIAI Paper Summary

🔗 https://www.marktechpost.com/2026/07/13/skyfall-ai-releases-morpheus-a-persistent-enterprise-simulation-benchmark-that-makes-continual-reinforcement-learning-necessary-under-structured-non-stationarity/

📌 【Skyfall AI 新發布】MORPHEUS 基準測試:解決 RL 在真實企業環境中的「非平穩性」挑戰

TL;DR:MORPHEUS 透過持續性與非平穩性設計,強迫 RL 代理人必須具備持續學習 (CRL) 能力。

🎣 當 RL 遇到「永不重置」的真實世界

大多數的強化學習 (Reinforcement Learning, RL) 基準測試在每個回合 (episode) 結束後都會重置環境,但現實中的企業營運從來不會重置。Skyfall AI 推出的 MORPHEUS 旨在填補這項落差,它是一個針對持續強化學習 (Continual Reinforcement Learning, CRL) 設計的永續性企業模擬平臺。

🧩 基於「大世界假說」的設計理念

MORPHEUS 的設計核心源於「大世界假說」(Big World Hypothesis),該假說認為世界的複雜度超過了任何代理人 (agent) 的表徵能力 (representational capacity)。因此,即使在固定動力學的環境下,世界看起來也會呈現「非平穩性」(non-stationarity)。

為了迫使代理人進行持續學習,MORPHEUS 要求環境具備三大特性:

  • 持續性 (Persistence):過去的決策會累積並影響未來的動力學。
  • 非平穩性 (Non-stationarity):任何固定的策略 (policy) 最終都會變得不再最佳化。
  • 營運複雜度 (Operational complexity):不存在任何固定的最佳策略。

🛠️ 透過兩大引擎驅動環境的動態變化

MORPHEUS 的每個環境都是一個獨立的 TypeScript 世界外掛 (plugin),透過「能力 API」(capability API) 與代理人互動。其非平穩性主要由兩個引擎驅動:

  1. 故障注入引擎 (Failure injection engine): 在執行能力描述符 (Operational Descriptors, ODs) 的步驟之間插入型別化中斷。包含 11 種故障型別(例如 missing_datadependency_failurerate_limit),並提供四種預設發生率:輕微 (5%)、寫實 (8%)、中度 (15%) 與激進 (30%)。

  2. 非同步配置轉移控制器 (Asynchronous configuration shift controller): 在固定時間點改變故障預設值與需求量。此控制器獨立於訓練迴圈執行,確保環境變化與梯度更新 (gradient updates) 的週期不會對齊,防止代理人利用更新週期作為代理時鐘 (proxy clock) 來預測變化。

📊 複合獎勵機制與評估指標

為了評估代理人的表現,平臺原生記錄了三個營運驗證器 (operational verifiers),並將其整合為複合獎勵:

  • 故障事件訊號 (Failure event signals)
  • 財務分類帳狀態 (Financial ledger status)
  • 資源吞吐量 (Resource throughput)

在預設權重下,故障事件的權重為 0.5,而財務與資源的權重各為 0.25。

🎯 實務啟示

對於開發複雜企業自動化流程的工程師而言,MORPHEUS 提供了一個更接近現實的測試場域。它提醒我們,當代理人面對的是一個會隨時間演進、且錯誤會不斷累積的動態系統時,單純追求單一任務的最佳化是不夠的,具備「持續學習」能力的架構才是應對真實營運挑戰的關鍵。

🔗 來源

#ReinforcementLearning #ContinualLearning #MachineLearning #SkyfallAI #MORPHEUS #AIBenchmarking #NonStationarity #EnterpriseAI #TypeScript #AIResearch

tencent/hy3:free 自動生成