End-to-end multimodal pathology foundation model with clinical dialogue

📌 【Nature 新研究】結合影像與臨床對話，PRISM2 達成臨床等級癌症檢測效能

TL;DR：PRISM2 透過 1,400 萬組臨床問答訓練，無需針對特定任務微調即可達到臨床等級癌症檢測效能。

在病理學診斷領域，單純依賴影像辨識往往不足以捕捉完整的臨床脈絡。當模型能夠「聽懂」臨床醫生的問題並結合病理切片影像進行分析時，診斷的精準度將會迎來質的飛躍。

🧩 結合影像與臨床對話的多模態基礎模型

研究團隊提出了一款名為 PRISM2 的多模態基礎模型 (Multimodal Foundation Model)，其核心設計理念在於將病理影像與臨床對話進行深度整合。

📊 大規模數據驅動的高效能表現

• 訓練規模：模型使用了 230 萬張全切片影像 (Whole-slide images) 以及 1,400 萬組臨床問答對 (Clinical question-answer pairs) 進行訓練。
• 核心優勢：PRISM2 展現了強大的零樣本 (Zero-shot) 能力，在無需針對特定任務進行微調 (Task-specific training) 的情況下，其癌症檢測效能已達到臨床等級。

💡 臨床對話的關鍵價值

研究結果顯示，引入臨床對話機制對於提升模型表現至關重要，這代表模型不僅是在「看」影像，更是在「理解」臨床醫生的診斷邏輯與問題需求。

🎯 實務啟示

對於醫療 AI 工程師而言，PRISM2 的成功證明了「多模態對話」而非單一影像辨識，才是邁向通用病理 AI 的關鍵路徑。將臨床醫生的專業知識轉化為對話數據，能大幅提升模型在實際醫療場景中的適用性。

🔗 來源

• 標題：End-to-end multimodal pathology foundation model with clinical dialogue
• 作者／機構：Eugene Vorontsov, George Shaikovski, Adam Casson, Julian Viret, Eric Zimmermann, Neil Tenenholtz, Yi Kan Wang, Jan H. Bernhard, Ran A. Godrich, Juan A. Retamero, Jinru Shia, Mithat Gonen, Martin R. Weiser, David S. Klimstra, Razik Yousfi, Nicolò Fusi, Thomas J. Fuchs, Kristen Severson, Siqi Liu
• 連結：https://www.nature.com/articles/s41591-026-04521-4

#Pathology #MultimodalAI #FoundationModel #PRISM2 #CancerDetection #MedicalAI #DeepLearning #WholeSlideImaging #ClinicalDialogue #Nature