探测、融合和可信度：多模态癌症分析基础模型表示的系统评估

基础模型（FM）已经成为医疗数据强大的表示提取器，但它们对分布变化下数据集的泛化性仍有待探索。这项工作系统地评估了两个现实世界商业队列（IH-BC 和 IH-NSCLC）的一套计算病理学任务的基于 FM 的表示，这些任务取自许可的内部 (IH) 肿瘤学数据集。该分析重点关注从 IH 多模态数据中提取的两种模式：全玻片图像和转录组图谱。我们首先在八个下游分类任务上对五个 FM 的单峰探测性能进行基准测试，并发现图像和组学表示携带互补的预测信号。然后，我们通过比较基于配对表示的三种图像组学融合策略，研究多模态融合是否可以比单模态基线产生额外的收益。通过共形预测进一步评估所选单模态和多模态管道的可信度。我们的结果表明，FM 表示在分布外数据上实现了具有竞争力的性能，并且当没有单一模态主导信号时，多模态融合主要有帮助。保形预测表明，在大多数点预测失败的情况下，真实的诊断仍然可以在预测集中恢复，从而增强了不确定性感知推理对于临床支持的价值。