BreastGPT：适用于全谱乳腺癌临床常规的多模式 大语言模型

乳腺癌仍然是女性癌症相关死亡的主要原因。其临床管理需要跨临床工作流程进行多模式推理，涵盖 \textit{筛选}、\textit{诊断} 和 \textit{治疗计划}，其中每个阶段都涉及不同的成像模式、任务目标和推理模式。然而，受数据稀缺和模型多功能性的限制，现有的医学 MLLM 通常在孤立的模式或狭窄的任务系列上进行评估，限制了它们支持工作流程级临床推理的能力。在这项工作中，我们首先引入 \textbf{BreastStage}，这是一个与工作流程一致的乳腺成像指令语料库，由 186 万个指令跟踪对组成，这些指令跟踪对是从跨 5 种成像模式和 136 个任务模板的 17 个子数据集整理而来的。其坚持的分裂，\textbf{BreastStage-Bench}，为评估整个乳腺癌护理连续体的多模式推理提供了一个全面的基准。在此语料库的基础上，我们提出了 \textbf{BreastGPT}，这是一个统一的 MLLM，配备双分支视觉编码器和概念保留词元压缩，以弥合标准放射学和十亿像素病理学之间的规模差距。在 BreastStage-Bench 上，BreastGPT 实现了 75.66% 的封闭式准确率和 89.92% 的开放式分数，在临床阶段和任务格式上均优于通用和医疗专用 MLLM。这些结果表明，工作流程一致的数据和跨尺度可视化建模对于临床基础的医学 MLLM 至关重要。所有数据、代码和模型检查点均在 https://yangyy-liu.github.io/BreastGPT.io 发布。