论文

适用于异质病理学基础模型的即插即用 logits Fusion

Plug-and-Play Logit Fusion for Heterogeneous Pathology Foundation Models

模型优化模型合并

摘要

病理学基础模型 (FM) 已成为计算组织病理学的核心,在广泛的诊断和预后任务中提供强大的传输性能。病理学基础模型的快速扩散造成了模型选择瓶颈:没有一个模型是一律最好的,但为每个下游端点彻底适应和验证许多候选模型的成本却高得令人望而却步。我们通过轻量级且新颖的模型融合策略 LogitProd 来应对这一挑战,该策略将独立训练的基于 FM 的预测器视为固定专家,并在其滑动级输出上学习样本自适应融合权重。该融合纯粹在 logits 上运行,不需要编码器重新训练,也不需要跨异构主干的特征空间对齐。我们进一步提供了理论分析,表明最佳加权乘积融合保证在训练目标下至少与最佳个体专家一样好。我们在 \textbf{22} 基准上系统地评估 LogitProd,涵盖 WSI 级分类、图块级分类、基因突变预测和离散时间生存建模。 LogitProd 在 20/22 任务中排名第一,所有任务的平均性能比最强的单个专家提高了约 3%。 LogitProd 使从业者能够以即插即用的方式升级基于异构 FM 的管道,以比特征融合替代方案低 $\sim$12$\times$ 的训练成本实现多专家收益。