Meet OpenJarvis: A Local-First Framework for On-Device Personal AI Agents with Tools, Memory, and Learning

📌 OpenJarvis：本地優先的個人AI代理框架

你以為要達到雲端模型的表現必須付高昂API費用？研究表明，在本地運行也能接近雲端水準，且成本可降低約800倍。

🤔 本地模型能處理多少任務？
此工作延續團隊先前的《Intelligence Per Watt》研究，該研究指出本地模型已能以互動延遲處理88.7%的單輪聊天與推理查詢，且從2023到2025年智慧效率提升了5.3×。OpenJarvis的目標是讓這種效率在真實的個人代理場景中可用。

🧪 十一種本地模型與四個家族的可交換設計
OpenJarvis不是單一模型，而是一個框架，可將任何支援的模型與可設定的代理堆疊組合。研究團隊在來自四個家族的十一種本地模型上進行評估。他們將個人AI系統分解為五種型別的原始類型（模型、引擎、代理、工具與記憶、學習），透過一個稱為spec的單一聲明式設定物件來組合。每個原始類型皆可獨立更換，spec會將五者序列化為一個TOML檔案。兩個spec可以共享相同的代理與工具設定，僅在模型與引擎上有所不同，因此同一行為能在Mac Mini與工作站上直接運行，無需重寫提示詞。

🔥 本地模型僅落後雲端3.2百分點，成本降低800倍，延遲降低4倍
在團隊的基準協議下，透過OpenJarvis配置的開放權重模型平均僅落後最佳雲端模型3.2百分點。同時，每次查詢的邊際API成本約降低800×，延遲約降低4×。這意味著開發者可在本地獲得近雲端的表現，同時大幅降低運算費用與等待時間。

💡 LLM‑guided spec search：本地與雲端的協同優化
框架的第二項貢獻是LLM‑guided spec search。在此過程中，一個前沿的雲端模型擔任「老師」：它讀取執行痕跡，診斷失敗叢集，並提出跨智慧、引擎、代理以及工具與記憶的編輯。只有當編輯能改善目標失敗叢集且不在其他地方造成顯著退化（團隊稱此為gate，預設容忍度為1%）時才會被接受。優化後的spec完全在設備端運行，推理時零雲端呼叫。老師僅在搜尋時使用；假設每日100次查詢，六個月內老師的攤平成本低於每查詢0.001美元。

⚠️ 基準聚焦於單輪查詢，長期多輪行為未評估
研究團隊的評估主要圍繞單輪聊天與推理查詢的互動延遲與正確率。長期學習效果、多輪對話的一致性以及更複雜的任務規劃尚未在此基準中涵蓋，這是目前結果的主要限制。

🎯 開發者可透過TOML spec 在不同硬體上重用行為
對於希望打造個人AI代理而又想避免高昂雲端費用的工程師，OpenJarvis提供了一條實用的開源路徑：透過簡單的TOML檔案插入不同模型或引擎，即可在各種設備上獲得相近的雲端表現；同時，LLM‑guided spec search讓優化過程只需極少的雲端資源，長期成本可忽略不計。

🔗 論文連結
📝 Meet OpenJarvis: A Local-First Framework for On-Device Personal AI Agents with Tools, Memory, and Learning
👤 Asif Razzaq (MarkTechPost)
🔗 https://www.marktechpost.com/2026/06/03/meet-openjarvis-a-local-first-framework-for-on-device-personal-ai-agents-with-tools-memory-and-learning/

你是否已經在本地實驗過類似的框架？歡迎在留言區分享你的經驗與看法 👇

#AI #OpenJarvis #本地AI #個人代理 #LLM #Stanford #LambdaLabs #開源框架 #EdgeComputing #TechTrends