沙丘社区
论文

MFE-MIL：病理全切片表征的掩码特征适配

Masked Feature Encoding for Large-Scale Whole Slide Image Representation

Haoyu He, Basile Tessier-Cloutier, Yang Wang, Mahdi S. Hosseini
模型训练应用与实践参数高效训练行业应用

摘要

计算病理学中的整个载玻片图像 (WSI) 分析遵循多实例学习 (MIL) 流程，其中独立提取块嵌入并聚合以进行载玻片级预测，但来自染色、扫描仪和局部纹理的载玻片内差异可能会压倒判别信号。我们提出了用于多实例学习的屏蔽特征编码（MFE-MIL），这是一种特征空间屏蔽框架，可与基于窗口的屏蔽重建分支和 MIL 分类头联合训练轻量级 MLP 适配器。这两个目标是互补的。分类引导适配器抑制幻灯片内补丁方差，而基于窗口的掩模重建为适应的特征提供辅助正则化器，而无需使用补丁坐标、坐标图或分割预处理。栅格补丁提取顺序仅用作弱隐式先验。推理时，解码器被移除，只留下适配器和 MIL 头。在具有四种不同编码器的 CAMELYON16/17、PANDA 和 TCGA-BRCA 中，MFE-MIL 改进了 ACC/F1 几乎所有测试的聚合器编码器设置和 AUC 在大多数情况下都优于基于坐标的空间方法 (CAMIL)，并且在四个数据集中的三个 (UNI) 上实现了比 2DMamba 更高的 AUC。在五个 TCGA 生存队列中，它提高了每个测试聚合器的平均一致性指数，这是其最一致的增益。代码可在 https://github.com/AtlasAnalyticsLab/MFE-MIL。 获取

MFE-MIL：病理全切片表征的掩码特征适配：论文原图
图 2：MFE-MIL 概述。来自冻结编码器的补丁特征 eie_{i} 通过可训练的两块 MLP 适配器（Linear–LayerNorm–ReLU–Dropout，×2\times 2）映射到 hih_{i}。适应的特征馈送到 MIL 头，用 ℒMIL\mathcal{L}_{\text{MIL}} 进行训练，并且仅在训练期间，重建分支：特征按提取顺序打包到网格中，连续窗口被屏蔽，Transformer 解码器重建屏蔽补丁的 ℓ2\ell_{2} 归一化冻结嵌入 e¯i\bar{e}_{i} （ℒrec\mathcal{L}_{\text{rec}}；虚线箭头：重建目标）。不使用补丁坐标，并且解码器在推理时被丢弃。