利用对抗性 蒸馏 定制乳腺癌的偏差、疾病特异性病理学基础模型

病理学基础模型 (PFM) 提供了强大的组织表示，并已成为数字病理学的核心。然而，在特定疾病环境中的部署受到 1) 十亿参数 PFM 的高计算成本和 2) 从泛癌、多中心 预训练 继承的分布不匹配和非生物学偏差的限制，包括位点特异性特征和不平衡的疾病患病率。这些因素可能会鼓励捷径学习，并低估特定癌症类型的可靠建模所需的微妙形态。我们推出了 SmartStu（聪明的学生），这是一个通过 蒸馏 定制紧凑的乳腺癌特异性 PFM 的框架，同时减少混淆。 SmartStu 将多个教师 PFM 的表示提炼成轻量级的学生主干。至关重要的是，我们引入了对抗性 蒸馏，它利用经过训练的专用噪声模型来预测 蒸馏 集上的令人讨厌的、边缘主导的线索。使用该噪声模型作为反例，对抗性目标鼓励学生识别但抑制可预测滋扰目标的特征。我们进一步结合了多教师集成 蒸馏 和带有伪影注入的辅助自我监督目标。我们在具有多个微小主干的三个外部队列（Yale HER2、SLN-Breast 和 BRACS）上验证了 SmartStu。 SmartStu 产生的乳腺癌特异性 PFM 比一般 PFM 小 30 多倍，同时在很大程度上保留（有时甚至改进）通过平衡准确度 (bAcc) 和 AUC 衡量的下游性能。代码可在 https://github.com/zwchen03/advDistall 获取。