GitHub Trending ★ 102 5 min

pydantic/monty

Rust

🔗 https://github.com/pydantic/monty

📌 【pydantic 開源新作】Monty：Rust 打造的極速安全 Python 沙箱，讓 LLM 產生的程式碼即時執行！

LLM（大型語言模型）現在可以直接寫程式碼，但把這段程式碼塞進完整的容器裡跑，往往會遭遇 毫秒級的啟動延遲、資源配置的複雜度，甚至最怕的 安全漏洞。
Monty 以 Rust 重寫了最小化的 Python 直譯器，讓你在 單位微秒 內完成從程式碼到執行結果的轉換，同時徹底隔離主機環境。

🤔 LLM 產生程式碼的「速度」與「安全」同時被捆綁？
傳統做法：把 LLM 輸出的 Python 透過 Docker、Firejail 或類似 sandbox 方案跑，啟動時間常落在 100‑300 ms，而且要自行維護檔案系統、網路權限的白名單。
Monty 的解法：不依賴 CPython，也不需要容器，直接在 Rust 執行環境中以微秒級啟動，且所有外部資源（檔案、環境變數、網路）只能透過開發者手動註冊的函式呼叫取得，從根本上斷絕未授權存取。

🧪 Monty 的核心設計亮點

  • 最小化但可用：支援足以讓 AI Agent 表達需求的 Python 子集，涵蓋現代型別提示（type‑hints）與完整型別檢查，內建 ty 單一二進位即可執行。
  • 完全隔離：檔案系統、環境變數與網路皆被封鎖，唯一能呼叫的外部功能必須由開發者以 外部函式 明確授權。
  • 快如閃電的啟動：從程式碼到執行結果的延遲 < 1 µs，遠低於容器化方案的數百毫秒。
  • 可快照、可恢復：在每次外部函式呼叫時自動快照 interpreter 狀態，允許把執行環境序列化成位元組存入檔案或資料庫，之後再恢復繼續執行。
  • 跨語言呼叫：提供 Rust、Python、JavaScript 三種 FFI 介面，因為不依賴 CPython，任何能執行 Rust 的環境都能直接嵌入 Monty。
  • 資源監控：內建記憶體使用量追蹤，可防止 LLM 產生的惡意或失控程式佔盡系統資源。

⚡ 實驗結果：效能接近 CPython，啟動快 10⁴ 倍

  • 執行相同程式碼的 平均執行時間：介於 CPython 的 0.5×‑5× 之間（視程式碼複雜度而定）。
  • 啟動時間：從「提交程式碼」到「取得第一筆結果」普遍在 1‑5 µs，相較於 Docker sandbox 的 200‑300 ms，提速 4‑5 個數量級。

🔍 深入分析：為什麼 Monty 能同時兼顧速度與安全？

  1. Rust 的記憶體安全：編譯期保證無空指標、資料競爭，讓執行環境本身不會成為攻擊向量。
  2. 最小化執行時：只實作 Python 必要的核心語法與標準庫子集，減少攻擊面。
  3. 外部函式白名單：所有 I/O 行為必須由開發者顯式註冊，避免 LLM 隨意呼叫系統指令。
  4. 快照機制：每次外部呼叫前的狀態都會序列化，讓執行過程可回溯、可審計，亦可在安全策略變更時重新載入。

⚠️ 研究限制與風險

  • 仍在實驗階段：目前僅支援「合理子集」的 Python，完整標準庫尚未全部實作。
  • 型別檢查依賴 ty：雖已內建，但在極端型別推斷情境下可能與 CPython 行為略有差異。
  • 快照成本：每次外部呼叫都會產生快照，對高頻 I/O 工作負載可能造成額外 I/O 開銷。
  • 社群與生態：相較於成熟的容器化 sandbox，Monty 的生態尚在成長，相關工具、範例仍較少。

🎯 實務建議：如何把 Monty 融入你的 AI Agent

  1. 先定義安全邊界：在 Rust 程式碼中列出允許的外部函式（例如 read_file, send_http），其餘全部拒絕。
  2. 使用快照儲存狀態：將每次執行前的 interpreter 快照寫入 Redis 或 S3，讓 Agent 能在斷線後恢復上下文。
  3. 型別檢查前置：在 LLM 產生程式碼後，先以 Monty 內建的 ty 進行靜態型別檢查，過濾明顯錯誤再交給執行階段。
  4. 監控資源：結合 Monty 的記憶體追蹤 API，設定上限，一旦觸發即終止執行，防止「無限迴圈」或「巨量分配」的攻擊。
  5. 跨語言整合：如果你的主系統是 Node.js，直接使用 Monty 提供的 WebAssembly 包裝器，即可在前端或伺服器端呼叫 Python 程式碼，無需額外安裝 CPython。

🔗 原始專案連結
📝 Monty – A minimal, secure Python interpreter written in Rust for use by AI
👤 作者：pydantic（GitHub）
🔗 https://github.com/pydantic/monty

💬 你對於在 LLM Agent 中直接嵌入「微秒級」Python 沙箱有什麼想法？
是想把它當作「安全的即時執行層」還是只作為「型別檢查」的預處理？歡迎在下方留言分享你的實作經驗或疑問 👇

#AI #LLM #Rust #PythonSandbox #Monty #pydantic #安全執行 #開發者工具 #微服務 #機器學習 #程式安全

由 google/gemma-4-31b-it:free 自動生成

同來源相關文章