多模态组织病理学的生成基础模型

复杂疾病的准确诊断和治疗需要整合组织学、分子和临床数据，但在实践中，由于组织稀缺、检测成本和工作流程限制，这些模式往往是不完整的。现有的计算方法试图从可用数据中估算缺失的模式，但依赖于在狭窄的单一源目标对上训练的特定任务模型，限制了它们的普遍性。在这里，我们介绍 MuPD（多模态病理学扩散），这是一种生成基础模型，通过具有解耦跨模态注意力的扩散 Transformer 将苏木精和伊红 (H&E) 染色的组织学、分子 RNA 图谱和临床文本嵌入到共享的潜在空间中。 MuPD 对跨越 34 个人体器官的 1 亿个组织学图像块、160 万个文本组织学对和 1080 万个 RNA 组织学对进行了预训练，支持多种跨模式合成任务，只需很少或没有特定于任务的 微调。对于文本条件和图像到图像的生成，MuPD 合成了组织学上忠实的组织结构，相对于特定领域模型，Fréchet 起始距离 (FID) 分数降低了 50%，并通过合成数据增强将少样本分类精度提高了 47%。对于 RNA 条件组织学生成，与次佳方法相比，MuPD 将 FID 降低了 23%，同时保留了五种癌症类型的细胞类型分布。作为虚拟染色仪，MuPD 将 H&E 图像转化为免疫组织化学和多重免疫荧光，与现有方法相比，平均标记相关性提高了 37%。这些结果表明，跨异质病理学模式预训练的单一统一生成模型可以大大优于专门的替代模型，为多模式组织病理学提供可扩展的计算框架。