论文
通过自适应融合了解病理学基础模型之间的协同相互作用
Understanding Synergistic Interactions among Pathology Foundation Models via Adaptive Fusion
摘要
病理学基础模型 (PFM) 通过自我监督的 预训练 在大规模病理图像上提供强大的图块级表示。然而,PFM 是在多样化且通常不透明的数据、架构和目标选择下开发的,会产生潜在的表征偏差,从而限制鲁棒性并模糊每个模型的专长。我们提出了 AdaFusion,这是一种轻量级自适应融合框架,它通过 (1) 低维特征压缩和 (2) 重新加权模型(以及可选的通道)贡献的样本条件门控模块来集成来自多个冻结 PFM 的互补信号。除了提高预测准确性之外,AdaFusion 还提供贡献驱动的解释,提供与模型特定偏好和跨组织表型的协同相互作用一致的证据。我们根据三个公共基准评估 AdaFusion,包括治疗反应预测、前列腺癌分级和空间基因表达推断。 AdaFusion 始终优于单个 PFM 和其他融合基线,同时提供可解释的组织可视化,使模型偏好与形态模式保持一致。代码位于:https://github.com/xyx-98/PathoOracle。