Qwen3.8-Omni-Flash：耳聰目明，辦事得力

來源原標題

Qwen3.8-Omni-Flash：耳聰目明，辦事得力

機構

Alibaba

原始連結

https://qwen.ai/blog?id=qwen3.8-omni-flash

摘要原文

引言 # 今天，新一代原生全模態模型 Qwen3.8-Omni-Flash 正式上線。該模型的核心目標是提升其在真實生產力場景中的 Agent 能力，推動全模態模型從“理解全模態內容”進一步走向“規劃任務、呼叫工具並完成創作”。在具備程式設計、文本知識工作和 GUI 操作等通用 Agentic 能力的基礎上，Qwen3.8-Omni-Flash 進一步拓展了以音影片為核心的 Agentic 應用，在影片剪輯、音樂影片創作、影視製作與解說、音影片轉圖文摘要和音影片對話等需要綜合處理文本、影像、音訊與影片的工作流中取得了顯著效果。 圖 1：Qwen3.8-Omni-Flash 與其在生產環境中的應用 Qwen3.8-Omni-Flash ——現已上線 千問AI平臺 ： 支援文本、影像、音訊和影片輸入，以及 1M 長上下文 。 Qwen3.8-Omni-Flash 支援 1M 長序列，在保持與同尺寸文本模型相當的文本能力的同時，全模態能力顯著提升。在累計 29 項評測中 1 ，相比上一代 Qwen3.5-Omni-Plus，平均得分提升超過 25%；API 每小時音訊輸入價格降幅超過 98%，每小時音影片輸入價格降幅超過 93% 2 。在音影片 Agent、Coding 和長程任務方面，模型在 WildClawBench-MM 上大幅提升 36.5 分，在 AgenticVBench 上提升 22.3 分，並在 UniClawBench 上取得 69.6 的高分。基礎能力方面，模型在長音訊/音影片理解、音影片推理、音影片 Caption 和多說話人識別上均有明顯提升：例如，LongAudioSpan 提升 8.3 分，OmniVideoBench 提升 9.6 分，OmniCap-IF 的 CSR / ISR 分別提升 8.5 / 14.1 分，AliMeeting 的 DER / cpWER 從 88.11 / 89.61 降至 3.35 / 17.18。通過擴展資料、上下文與 Agentic Environment，Qwen3.8-Omni-Flash 的 音影片能力接近 Gemini 3.8 Flash，音訊能力整體超過 Gemini 3.8 Flash 。這些能力的進一步提升，也意味著音影片正在從模型的感知輸入，進一步成為 Agent 理解環境、開展推理並執行任務的核心載體。 1. 範圍包括：音訊推理：AliMeeting-test、AISHELL-4、MagicData-RAMC、MLC-SLM (en)、WenetSpeech (Net | Meeting)、FLEURS-60 ASR、FLEURS-60 S2TT、SpotSoundBench、MMAU、MMAR、MMSU、MuchoMusic-RUL、HumMusQA、MusTBench、Audio-MultiChallenge、WildSpeech、VoiceBench。音影片推理：DailyOmni、WorldSense、AVUT、JointAVBench、OmniCloze、OmniCap-IF、QIVD、OmniVideoBench、StreamingBench。音影片 Agent：WildClawBench-MM、UniClawBench、OmniGAIA。 2. 價格計算說明：音訊或音影片每小時價格按 2 分鐘素材的輸入成本×30 估算；音影片採用 720p、1 fps。Gemini 3.8 Flash 使用 media_resolution=high，Seed 2.0 Lite 使用 max_frame_tokens=384，其他 API 參數使用預設值。文本輸入與輸出價格單位為 CNY/1M tokens；Gemini 與 Muse 的人民幣價格按美元換算，匯率為 1 USD = 6.7191 CNY。 音影片是 Agent 走向真實生產力場景的重要載體，但也帶來了一組新的系統挑戰：長音影片的檔案儲存、網路傳輸與多輪推理成本高昂，現有 Agent Harness 框架缺乏對音影片的原生支援，而從全模態理解到端到端任務執行的工作範式仍處於早期階段。解決這些問題，需要模型、Harness 工具與執行環境協同演進。 圍繞這些挑戰，我們在 Qwen3.8-Omni-Flash 上探索瞭如何貫穿素材理解、任務規劃、工具執行與結果交付的完整鏈路，完成影片剪輯、翻譯、電影解說和內容創作等端到端長程工作流，推動 Omni 從理解音影片進一步走向自主行動與任務交付。 為此，我們進一步擴展了 Qwen-MM-Plugins，為長音影片的按需感知、工具呼叫與工作流執行提供支援；同時開源 Qwen-Live Harness，為即時、持續的全模態互動提供原生執行環境。兩者分別面向長程工作流與即時互動，並在與模型的共同迭代中持續拓展全模態 Agent 的能力邊界。 PLUGIN Qwen-MM-Plugins 音影片生產力入口——連線多模態理解、內容創作與 Agent Harness。 開始使用 → HARNESS Qwen-Live Harness 即時互動入口——連線音影片對話、任務委託、記憶與上下文管理。 開始使用 → 長音影片理解 # Qwen3.8-Omni-Flash 實現了長音影片理解能力的全新升級：從按需描述、Agentic 主動取證，到理解並推進會議任務，再到生成以影片為中心的深度研究報告；不只是看得更久，更能找得準、理解深、執行快。 可控音影片 Caption # 影片描述不應只有一種答案，內容創作關心敘事，素材檢索關心片段，資產管理關心結構。不同業務，需要不同的影片描述。在 Qwen3.8-Omni-Flash 中，我們對影片描述能力進行了全新升級：從回答“模型看到了什麼”，走向理解“使用者想知道什麼”。描述物件、時間範圍、資訊粒度與輸出格式均可自由指定；面對同一段影片，既能縱覽全貌、定位關鍵片段，也能 深入分析人物動作、鏡頭、光影與聲音，並按需輸出結構化結果 。看什麼、看多細、怎麼呈現，由你定義。 Agentic 長音影片理解 # 面對數小時的長影片，傳統方法通常需要從頭到尾處理全部內容，即使答案只存在於其中幾分鐘的片段內。Qwen3.8-Omni-Flash 原生 Agent 則從問題出發， 自主決定該看什麼、聽什麼，並通過由粗到細的多輪取證定位關鍵資訊 。它無需逐幀處理整部影片，即可將有限的計算與 Token 預算集中在真正相關的片段上，實現更高效的長影片理解。OmniVideoBench 實驗表明，Agentic Understanding 將 準確率從 63.4 提升至 67.8 ，同時將 Token 消耗從 145,736 降至 79,117， 降幅約為 45.7% 。下表對比了 Static Understanding 與 Agentic Understanding 在 OmniVideoBench 上的準確率及 Token 消耗： 注：Agentic 模式在多輪互動中保留上下文。 Static Understanding Agentic Understanding Accuracy (↑) 63.4 67.8 Tokens per query (↓) 145,736 79,117 長會議，從記錄到執行 # 多人會議是音影片理解中最複雜的場景之一：多人交替發言、聲音相互重疊，人物身份、指代關係與討論主題持續變化。Qwen3.8-Omni-Flash 具備 多說話人音畫協同識別能力 ，原生支援 最長一小時 的音影片輸入，能夠 聯合理解人物畫面與語音內容，端到端完成說話人切分、內容轉錄與身份對應 。輸入完整會議影片並描述需求，模型即可梳理參會者關係、生成會議紀要與待辦事項，並分析專案風險；同時藉助視覺資訊解決音訊中的指代與實體歧義。結合 Agent 與工具呼叫，它還能傳送郵件、整理任務，甚至依據會議需求直接開始編碼。從聽懂會議，進一步走向執行工作。 通過音影片開展深度研究 # 當用戶帶著具體問題觀看影片時，所需的答案往往不止於影片本身。Qwen3.8-Omni-Flash 能結合使用者需求與影片內容，挖掘值得深入研究的問題，梳理影片重點，並檢索網頁、圖片、影片和文件等多模態資料，生成以影片為中心、圖文並茂的研究報告，幫助使用者深入理解影片內容、解決實際問題。例如，使用者在 Photoshop 摳發時遇到彩邊問題，模型可以拆解教程步驟、研究 Multiply / Screen 混合模式的原理、對比其他邊緣修復方案，幫助使用者理解不同方法的適用條件，判斷哪種方案更適合自己的情況。 音影片生產與編輯 # Qwen3.8-Omni-Flash 正在將音影片 Agent 推向新的階段： 從理解聲音與畫面，到自主規劃、呼叫工具並交付成片 ，讓全模態智慧真正進入專業音影片內容生產流程。 Music2MV # 以音樂影片（MV）創作為例，Qwen3.8-Omni-Flash 能夠細粒度、精準地理解使用者輸入歌曲的結構、節奏、情緒、人聲與樂器變化，為人物、場景和鏡頭設計提供靈感。它還能輸出帶時間戳的句級歌詞，讓歌聲、字幕與畫面精準配合。結合 Qwen-MM-Plugins 等創作工具，模型可貫穿音樂理解、創意規劃與成片質檢，展現強大的音影片理解、推理和創作能力。 工作流程 Next 最終結果 1 Next 最終結果 2 Next 最終結果 3 Next 短劇翻譯 # 傳統影片翻譯往往需要在轉寫、翻譯、配音和剪輯平臺之間反覆切換，不僅 API 呼叫與流程銜接複雜，也難以保證多角色音色、臺詞時長與畫面節奏的一致性。藉助 Qwen3.8-Omni-Flash 構建的 Agent，使用者只需一句話描述需求，即可按需完成區分角色的臺詞識別、口語化翻譯、角色克隆配音、音軌重混與成片質檢，將原本割裂的譯製環節串聯為完整流程，實現短劇影片出海的自動化交付。 工作流程 Next 最終結果 1 Next 原始影片 翻譯結果 最終結果 2 Next 原始影片 翻譯結果 最終結果 3 Next 原始影片 翻譯結果 長電影解說 # 面對動輒兩三小時的完整影片，電影解說影片的製作往往需要人工反覆觀看和梳理劇情，並完成鏡頭篩選、文案撰寫、配音配樂與剪輯包裝，製作流程繁瑣、耗時耗力。基於 Qwen3.8-Omni-Flash 構建的 Agent，使用者只需提供影片並用一句話描述創作需求，即可完成長影片全模態理解、關鍵情節提煉、解說規劃、配音配樂、剪輯渲染與成片質檢。Agent 還能智慧穿插電影原聲對白與解說配音，自動調節語速和音量，讓解說、原聲、背景音樂與畫面自然銜接，打造更具真實感、代入感與“電影質感”的解說作品。 工作流程 Next 最終結果 1 Next 最終結果 2 Next 從使用模型，到最佳化模型 # 真實的多模態業務往往復雜且成本敏感，模型往往需要在效果、時延、算力與部署成本之間取得平衡。 因此，面向具體場景定製小模型，是規模化業務應用的重要路徑。然而，傳統流程涉及資料構建、問題診斷、多輪訓練與效果評測，週期長且高度依賴人工經驗。這一次，我們進一步嘗試將 Qwen3.8-Omni-Flash 推進到模型研發本身，探索“大模型負責研發、小模型面向業務”的新範式。 我們向 Qwen3.8-Omni-Flash 提出了一項任務： 在 12 小時內提升 Qwen2.5-Omni-3B 的四川話識別能力，並交付可用模型 。它自主選定 WenetSpeech-Chuan 評測集、固定評測標準並完成基線測試，隨後直接聽取語音樣本，結合識別結果診斷問題，構建針對性的訓練資料。在連續 4 輪實驗中，Agent 累計構建了 3,413 條訓練資料，並根據評測反饋調整方案、保留有效改進、回退無效嘗試。 最終，Qwen2.5-Omni-3B 在同一評測集上的字元錯誤率從 25.79% 降至 15.30%，相對下降約 40.7% 。 這項實驗展示了另一種模型演進的可能：通用多模態模型負責理解資料、規劃實驗與驅動迭代，小模型則沉澱面向具體業務的專用能力。Agent 不再只是呼叫模型，還能參與模型最佳化並解決實際業務問題。 音影片資訊壓縮 # 音影片承載著豐富的資訊，但其線性、非結構化的形態也讓檢索和複用變得困難。Qwen3.8-Omni-Flash 可以跨越聲音、畫面與時間線理解內容，並通過 Agentic 的方式完成資訊提煉、結構重組與結果校驗， 將長影片中的核心知識與實踐經驗轉化為資訊密度更高、更易獲取和複用的內容資產 。 Video2Note # 圍繞影片知識的結構化沉澱，我們在 Qwen-MM-Plugins 中開源了 Video2Note。依託 Qwen3.8-Omni-Flash 對語音、畫面與操作過程的聯合理解，它能夠自動梳理知識結構、拆解關鍵步驟、篩選代表性畫面，並生成圖文對應的 PDF 筆記；同時通過自動審閱與迭代修正，將數小時的影片內容壓縮為清晰、易讀、便於複習的文件資產。 工作流程 Next 最終結果 1 Next 案例影片 最終 PDF Your browser does not support PDF. Download PDF 最終結果 2 Next 案例影片 最終 PDF Your browser does not support PDF. Download PDF 最終結果 3 Next 案例影片 最終 PDF Your browser does not support PDF. Download PDF 最終結果 4 Next 案例影片 最終 PDF Your browser does not support PDF. Download PDF Omni Skill Creator # 影片不僅記錄了“怎麼做”，也承載著專家在實踐中積累的經驗技巧。基於這一思路，我們將 Omni Skill Creator 作為 Qwen-MM-Plugins 的全新開源能力：它既可以從操作演示中提煉標準作業流程（SOP），並將其轉化為可複用的自動化流程，也可以從專家教學中學習工具使用、決策依據與關鍵經驗。一次演示教學即可轉化為經過校驗和評測的 Agent Skill，實現基於全模態內容構建可複用、可傳播的 Agent Skill。 音影片即時互動 # Qwen3.8-Omni-Flash 面向完整音影片的深度理解與創作；面向持續、低延遲的互動場景，我們進一步帶來 Qwen3.8-Omni-Flash-Realtime 。它能夠在音影片流輸入的同時完成感知與響應，並結合即時上下文呼叫工具、執行任務，讓全模態能力從“理解一段內容”走向“參與一場互動”。 即時口語陪練 # 口語世界沒有標準輸入。口音、元子音替換與聲調偏差，都會讓逐字轉寫偏離真實語義。Qwen3.8-Omni-Flash-Realtime 聯合建模發音與語義，能夠理解受口音影響的非標準表達，將其對齊到正確詞彙，並即時生成標準發音示範。在多輪練習中，模型根據新的語音持續更新判斷：糾正影響理解的錯誤，同時保留自然的節奏、語氣與情感。 全模態空間音訊感知 # 在真實空間中，聲音是視覺之外的另一條座標軸。Qwen3.8-Omni-Flash-Realtime 融合空間聲音與視覺資訊，持續判斷聲源方向和距離，並同步感知障礙、通行區域與場景變化，是首個支援“聽聲辨位”的全模態大模型。 面對“過來這裡”或“去看看是什麼在響”等指令，模型能夠從環境噪聲中鎖定人聲與目標聲音，將語義落到現場空間，並呼叫工具完成定位、搜尋、路徑規劃與導航。從聽見目標，到抵達目標。 音影片外部知識接入 # 即時互動不僅需要低延遲，也需要隨業務動態載入知識與行為。Qwen3.8-Omni-Flash-Realtime 支援通過 Skill 注入身份設定、表達風格、業務知識與互動規則，並通過工具呼叫將這些能力延伸到任務執行。 在智慧客服等場景中，模型可以即時載入品牌話術與服務流程，理解使用者的語音、畫面與上下文，生成符合業務規範的回應並執行操作。同一個即時模型，由此可以擁有不同的知識、角色與行動方式。 完整效能結果 # Omni # Qwen3.8-Omni-Flash Qwen3.5-Omni-Plus Gemini 3.8 Flash Seed 2.0 Lite Muse Spark 1.2 Agentic Omni Intelligence WildClawBench-MM Multimodal tool use 71.0 34.5 58.9 41.9 -- UniClawBench Multimodal tool use 69.6 67.1 69.0 61.2 -- AgenticVBench Multimodal tool use 36.8 14.5 45.0 10.0 -- OmniGAIA Web Search 74.0 57.2 78.6 64.4 -- General Audio-Visual Capabilities DailyOmni Audio-Visual Understanding 85.1 85.1 84.0 81.4 79.6 WorldSense Audio-Visual Understanding 68.5 63.9 69.6 67.3 65.0 AVUT Audio-Visual Understanding 86.6 85.9 88.0 81.5 82.4 JoinAVBench Audio-Visual Understanding 75.9 74.1 70.4 70.6 71.8 OmniVideoBench Audio-Visual Reasoning 63.4 53.8 65.2 58.5 62.2 Video-MME-v2 Audio-Visual Reasoning 65.0 47.9 71.0 64.9 -- LVOmniBench Long Video Reasoning 63.3 53.2 70.7 -- -- OmniCloze Audio-Visual Caption 63.2 64.2 60.9 56.3 65.3 OmniCap-IF Audio-Visual Caption CSR 80.6 ISR 28.2 CSR 72.1 ISR 14.1 CSR 81.9 ISR 28.3 CSR 74.6 ISR 18.1 CSR 77.9 ISR 26.8 QIVD Audio-Visual Interaction 69.6 65.6 69.1 62.0 62.0 StreamingBench Audio-Visual Interaction 80.8 57.1 79.9 77.2 77.8 General Audio Capabilities AliMeeting Test Multi-Speaker ASR (DER | cpWER, ↓) 3.4 | 17.2 88.1 | 89.6 72.6 | 53.1 75.1 | 76.1 93.7 | 92.7 AISHELL-4 Multi-Speaker ASR (DER | cpWER, ↓) 2.8 | 11.2 100.0 | 100.0 66.