论文

CoFailMed以失败相关性审计医学分割预训练编码器池

Different Models, Shared Failures: Auditing Frozen-Encoder Pools for Medical Segmentation

模型评测评测方法与指标鲁棒性、公平性与可信度评测

摘要

平均分割精度和模型数量并不能揭示模型是否在相同情况下失败。我们提出了 CoFailMed,这是对用于医学分割的预训练编码器池中相关失败的审计。在五个 2D 任务中,我们使用冻结特征和单独训练的 1×1 读出层(每个编码器有四个种子)评估 11 个公共预训练编码器(受控样本,而非对全部编码器的穷举)。共享检查点对具有最高的平均每个案例 Dice 相关性。扩展的 17 个编码器分析表明,同一编码器家族中的不同检查点仍然比跨家族对更相关。在汇集的 Dice 第 33 百分位阈值处,从不同编码器抽取的四成员池的平均有效规模为 1.56-2.92,这是根据每个成员具有足够失败和成功样例的池中的失败相关性估计的。在主池中,表达能力更强的读出层和微调缩小了共享检查点(或 DINOv2-B/S 版本)的对与所有其他对之间的 Dice 相关性差距。然而,不同编码器之间的依赖性可能会增加,并且微调并不能始终如一地增加为每个训练配方重新计算的 第 33 百分位阈值的有效池大小。较小的组间差距可以与较大的依赖性共存。因此,池评估应报告绝对依赖性和阈值特定的有效规模以及准确性和名义池大小。 CoFailMed 版本提供了对齐的每个案例跟踪、分析脚本和研究代码,以重现核心审计结果。

CoFailMed以失败相关性审计医学分割预训练编码器池:论文配图
图 1:共享故障会减少有效池大小。字母 A–K 按图 2 的捆绑顺序索引 11 个冻结编码器检查点(A:DINOv2-B,...,K:ResNet-18);数字索引头部训练种子 42-45。面板 (b) 比较相同情况下的预测(标签给成员 Dice),并通过对全掩模 Dice 进行阈值处理来定义失败。图 (c) 总结了四个不同保留编码器的所有池的枚举,在所有种子组合上每个编码器取一个头;显示了两个示例池,后跟省略号。对于每个池,正平均成对故障相关性给出的有效大小低于四。条形图显示每个任务的池 P33 上受支持池的特定任务平均有效大小,采用常见的 0-4 等级(支持计数:图 6)。裁剪图显示假阳性(橙色)和假阴性(蓝色)。