陸川手搓歷史現場，王珞丹熬夜抽卡，阿里全模態開始兜底生產

來源原標題

陸川手搓歷史現場，王珞丹熬夜抽卡，阿里全模態開始兜底生產

作者

田, 晏林

原始標籤

資訊

原始連結

https://www.qbitai.com/2026/09/494429.html

摘要原文

陸川手搓歷史現場，王珞丹熬夜抽卡，阿里全模態開始兜底生產 田, 晏林 2026-09-22 23:59:35 來源： 量子位 阿里：三年之內會出現一個原生的全模態統一生成模型，未來體驗將不再受限於模態邊界。 田晏林 發自 凹非寺 量子位 | 公眾號 QbitAI 5天。 不用搭景，不用等演員，導演陸川和團隊，直接用AI把一場發生在400年前的明代災難現場，搓出來了！ 宮廷、火藥庫，還有史料中煙雲如黑靈芝的大爆炸。按照傳統影視工業的做法，這樣的場景復原往往需要數月時間和千萬級投入。 但這次，他們 只用了5天！ 來，話不多說，先看短片。 「連結」 怎麼樣？夠猛吧？ 人物的臉、皮膚、神態已經相當逼真，幾個明代人物也不再是過去那種一眼AI的塑膠感。 再看爆炸。煙塵、碎片、火光一起往外衝，這種最容易穿幫的複雜場面，也都穩穩接住了。 要按傳統影視工業的路子來， 過去光是一場爆炸戲，就要耗費19天。 這次，陸川團隊把史料裡的文字一點點翻譯成現代視覺概念，前後大約做了四輪提示詞最佳化，再參考真實爆炸影像去校準。 最後，阿里影片生成模型對煙塵、碎片這些複雜畫面的還原 ，準確度已經達到團隊預期的95%以上。 現在的AI已經進化到不只是給導演吐幾段素材而已了。 從史料蒐集、畫面製作到主題討論，它開始進入完整創作鏈路；單在影片生成環節，阿里模型的貢獻度就超過了一半。 9月22日，在 雲棲大會 上，阿里雲又來了一波大的，直接把模型家底都端了上來。 先看千問基座模型，架構、自我進化、全模態、參數規模，幾乎每一層都在往前推： Qwen3.8-Max 開始自己訓練自己， Qwen3.8-Flash 提前放出下一代架構， Qwen3.8-Omni 為大模型開闢全新的思考分割槽， Qwen4 已經開練， Qwen4.5、Qwen5 也在路上。 而且，參數規模更是直接瞄準 5萬億～10萬億 。 另外，影像生成模型 Qwen-Image-3.1 、音樂生成模型 Happy Shrimp 1.1 、世界模型 HappyOyster 2.0 Preview 、語音模型家族 Qwen-Audio-3.1 、同聲傳譯模型 Qwen3.8-LiveTranslate 也集體亮相。 下一代影片生成模型則預告將於11月釋出。 單拎哪個模型出來，都能講半天。但結合陸川的短片，放在一起看，味道就不一樣了。 阿里這一輪全模態升級，已經不太像是在補單項能力。它更在意的， 是這些模型能不能更快進入場景，變成真正的生產力。 阿里的全模態拼圖，基本鋪齊了 把這次雲棲大會的模型更新全部攤開，一張相當完整的全模態地圖已經擺在眼前。 文字和通用智慧這邊，有Qwen3.8，以及已經投入訓練的Qwen4。 往外看，影像生成與編輯有Qwen-Image-3.1；影片生成有Wan、Happy Horse系列，以及計劃11月釋出的下一代影片模型；聲音這邊是Qwen-Audio-3.1，音樂則交給Happy Shrimp 1.1。 再往真實世界延伸，HappyOyster 2.0 Preview開始處理世界模型和互動環境；Qwen3.8-Omni-Flash把文字、圖片、音訊、影片放進統一理解框架；Qwen Intelligence繼續把Agent能力推向手機終端。 這一串名字看下來，很容易有種新品釋出會開到停不下來的感覺。 可把它們塞進一項具體任務裡，關係就清楚多了。 拍一條廣告，指令碼、商品圖、人物、口播、音樂，本來就混在一起；做一部電影也一樣。 導演給模型的可能是一段文字、一張參考圖、一首音樂，最後交付的是一套完整的視聽內容。 現實任務天然就是混合模態的。 文字、影像、影片、聲音、空間資訊往往同時出現，模型最終要處理的，也很少是一種單獨的資訊。 現實任務不分模態，模型也很難再一項一項地做。 雲棲大會現場，阿里巴巴ATH事業群副總裁、淘天集團首席科學家鄭波提到： 文本、影像、影片、聲音、空間的能力正在加速協同，AI也從生成一張圖、一段影片、一首音樂，繼續走向理解人的意圖，創造完整沉浸式視聽體驗。 阿里方面判斷： 如果語言模型是機器的大腦，多模態模型正在成為機器感知世界、創造內容並與物理世界互動的中樞。 這時候再回頭看阿里這一整套模型佈局，關係就更清楚了。 Qwen負責語言、知識和推理；Image、Wan、Happy Horse、Audio、Happy Shrimp把能力往視覺、影像、聲音和音樂延伸；HappyOyster再往三維空間和互動環境裡走。 Omni繼續處理不同模態之間的統一理解，Agent則把這些能力接進實際任務。 當這些能力開始被放進同一條任務鏈裡，評價標準也跟著變了。 一張圖生成得多漂亮，一段影片有多炸裂，依然重要。到了生產環境裡，還會多出一長串更現實的考題。 能不能穩定交付，能不能連續工作，能不能理解同一個任務？ 從Demo走進生產線，多模態開始接受真考驗 這些問題，只有進了真實工作流才會徹底暴露出來。 第一層：內容生產 這是最成熟的一層，也是影片模型最先撞上的考題。 Wan3.0已經支援單次30秒生成，還能接受文件、表格、網頁等結構化輸入。 據阿里披露，它曾經在Artificial Analysis的文生影片和影片編輯兩項榜單上位列第一。 但到了商業場景，榜單隻能算入場券。 比如廣告，一條片子裡的商品外觀、Logo、人物和口播只要有一個漂掉，前面生成得再炫也很難直接交付。 這套更苛刻的指標，同樣落在了影像、語音、音樂等其他模態上。 「能不能穩定生產」，已經成為多模態進入生產環境後的核心考題。 不過， Wan3.0已經拿到正向反饋了。 據使用者介紹，Wan3.0已接近真實廣告拍攝水平。 第二層：進入專業創作 陸川的《歷史·現場》就是一個很典型的樣本。 5天重建一場400年前的歷史現場很驚豔，但這次嘗試更有意思的地方，其實是它把AI帶到了創作者真正難啃的位置。 通用模型很容易生成大家熟悉的古裝劇質感，真正的歷史現場反而需要陌生感，需要更嚴謹的史料，也需要模型理解導演到底想表達什麼。 對此，阿里巴巴影片生成模型技術負責人表示， 未來將與更多導演、行業專家及歷史學者合作，為模型引入更全面、更嚴謹的專業資訊。 到了這裡，模型面對的已經不只是畫面質量，還要開始理解專業知識和創作意圖。 音樂創作遇到的則是另一套難題。 9月22日下午，在2026雲棲大會的視聽分論壇上，太合音樂集團總裁餘灝坦言，AI給音樂行業帶來的焦慮並不新鮮。 電子合成器、MIDI（樂器數字介面）、DAW（數字音訊工作站）都曾經引發過類似擔憂，但最後都變成了新的生產工具。 而現在，AI又把音樂創作成本往下壓了一大截，普通使用者和專業藝人都開始把它當生產力工具。 但音樂一旦進入產業，問題馬上變得比「能不能生成一首歌」複雜得多。 訓練素材怎麼獲得，版權怎麼算，AI翻唱該不該授權，收益怎麼分，這些都繞不過去。 太合和阿里Happy Shrimp的合作，也開始往音樂人共創、產業生態、版權機制和AI音樂新消費場景延伸。 餘灝特別提到，無授權AI翻唱的成本太低，大量版本氾濫，會直接侵蝕原版版權方和藝人的價值。 這時候，AI音樂已經從一個創作工具，進入到了產業規則這一層。 小旭音樂創始人盧小旭在論壇上的分享，更像是一張「多模態生產流程圖」。 他的工作室做AI歌手，單靠一個模型根本跑不下來。 先做人設和視覺錨點，再用音樂模型做歌曲、人聲和編曲，接著把音樂交給影片模型做MV和對口型影片，後面還要接大模型做評論抓取、分類和運營反饋。 整個流程本身，就是一個多模型協同工作流。 不過，這套生意還遠沒到閉眼複製的階段。 盧小旭提到，他們平均4個專案才能跑出1個成功AI歌手賬號。 但小團隊的 生產效率，在阿里多模態模型的加持下，已經被明顯拉高。 據他透露，其 團隊6個人就能孵化十多個AI歌手IP ，一些賬號 4個月漲粉20萬 ，全網累計播放量突破2億。 這幾個案例放在一起看，會發現專業創作對模型提出的要求完全不同於普通生成。 電影要理解導演意圖，音樂要處理版權和產業規則，AI歌手還得把音樂、視覺、人設、運營串成一整套工作流。 進入專業創作之後，多模態拼的已經不只是生成質量，還要能吃進專業知識，理解創作目標，並接進完整生產流程。 第三層：進入終端和物理世界 再往外走，多模態開始離開內容產業。 目前，千問端到端全雙工即時語音互動大模型 Qwen-Audio-3.1-Realtime， 已經進入千問辦公、Qoder（阿里智慧體程式設計工作臺）、千問AI眼鏡、隨身助理和桌面機器人等，能夠邊聽、邊想、邊說。 Qwen Intelligence 繼續把Agent能力塞進手機，希望完成跨應用複雜任務。 HappyOyster 2.0 Preview 則把戰線拉到了物理世界。它要解決的是另一類問題：環境能不能長期保持一致，物體運動能不能符合物理規律，使用者操作後能不能及時得到反饋。 這張多模態佈局圖已經越來越清楚： 先給人生成內容，再幫人完成工作，接著讓機器真正理解並作用於世界。 但問題在於，這麼多單項能力越來越強，AI怎麼才能在一件複雜任務裡，一直記得自己到底在幹什麼？ 多模態的下一關，是連續理解和完成任務 這個問題，在創作者那裡已經出現了。 演員王珞丹在視聽分論壇現場分享了她的AI創作體驗。 圖源王珞丹微博 今年年初，她開始認真學AIGC，自己下場做短片。最開始，她連人物三檢視都要一點點學。 再往後，是排隊、抽卡、反覆試。 王珞丹曾經 抽卡抽到凌晨4點 ，一度覺得很絕望，到了早上6點，終於抽到了想要的鏡頭。 但更麻煩的是表演。 她的腦子裡明明有一個很具體的狀態，模型卻很難準確呈現。反而在給一個寬泛概念時，模型倒有可能突然給出驚喜。 這很能說明現在多模態創作的一個尷尬： 儘管單個鏡頭已經越來越強，但故事一長，人物的狀態、情緒和氣質很難一直保持。 但創作者需要的，恰恰就是AI能記住前面的內容，一直跟著同一個故事往下走。 放到更廣泛的Agent任務裡，則是記住上下文、環境變化，以及前面已經執行過什麼。 問題到這裡就很清楚了。影像、影片、語音、世界模型分別變強，只解決了單項能力。 但一項完整任務，往往同時包含視覺、聲音、語言、空間、時間和動作，而且這些資訊還會一路變化。 AI需要在這些資訊之間保持同一個任務上下文。 每切一次模態，就像重新開始一次對話，這種方式很難撐起真正複雜的工作。 這也是多模態下一階段最重要的一道題： 各自很強之後，怎麼開始一起工作？ 多模態走到下一階段，看的已經不只是能不能看、能不能聽、能不能生成，更要看它能不能圍繞同一個目標持續理解。 阿里把更遠的方向指向了 「原生全模態統一模型」 。鄭波給出了一個判斷： 三年之內會出現一個原生的全模態統一生成模型，未來體驗將不再受限於模態邊界。 重點在「原生」。 今天，很多多模態系統，更像是一場接力。 影像模型做圖，影片模型接著生成，音樂模型負責聲音，Agent再去調不同工具。 能力都能用，但一次次交接，也意味著上下文可能丟失。 原生全模態想解決的，就是這種割裂。 不同模態從模型底層共享同一個任務、同一份上下文和同一套世界理解，影像、影片、聲音、空間、動作都圍繞同一個目標往前走。 據瞭解，阿里的下一代影片模型已經沿著這條路繼續推進。 新模型將在11月釋出，方向之一就是從生成單個鏡頭走向理解完整敘事。 阿里往前探索了一步，鄭波把這個方向稱為 「Agentic Video」 。 意思是，模型開始理解創作目標和創作意圖，從一個想法、一段故事出發，自動拆劇情、做分鏡、組織角色和場景，再完成生成。 這和今天的「抽卡式創作」已經是兩種體驗。 今天，創作者還得反覆重講人物、風格和情緒。但理想狀態則是把故事和角色講清楚一次，AI就能記住全片設定，一路跟下去。 王珞丹熬夜抽卡的經歷，暴露的正是多模態創作最後一公里的問題。 但陸川的《歷史·現場》，已經讓另一種可能開始出現。 AI可以真正進入專業創作鏈路，並承擔相當一部分生產工作。 只是今天，這條鏈路還需要導演和團隊在中間不斷組織：查史料、定視覺、調提示詞、校準畫面，再把不同模型的能力接起來。 原生全模態想繼續往前走一步，讓AI不只接住一個鏡頭，而是接住一整件事。 這意味著，AI要從理解創作意圖，到記住人物、場景和敘事，再到呼叫影像、影片、聲音乃至空間能力持續完成任務。 這樣再回頭看阿里這一輪密集的多模態更新，真正值得關注的，也就不只是又多了幾個模型。 一張更大的拼圖已經鋪開。 接下來要比的，是誰能把這些能力真正擰到一起，讓AI從會生成，走向會把事情做完。 版權所有，未經授權不得以任何形式轉載及使用，違者必究。 田, 晏林 直播預告：未來兩三年，哪些工業AI場景會率先爆發？ 2026-09-22 具身智慧技術路線尚未定型，基礎設施卻先收斂 2026-09-18 西門子不造機器人，為什麼機器人進廠的故事裡總有它？ 2026-09-16 9月21日，深圳前海！聊聊工業AI與生態共創的下一步 2026-09-15