SpurCon：用于减轻医学成像中的虚假线索的加权监督对比学习

尽管深度神经网络在视觉识别方面取得了快速进展，但由于可靠性和鲁棒性问题，它们在高风险医疗应用中的采用仍然受到限制。模型可能会利用虚假相关性，特别是在医学成像中，其中设备或治疗伪影通常与病理学同时发生。在小型或不平衡的数据集中，此类线索进一步降低了最差群体的表现并破坏了临床信任。为了解决这些问题，应该解决两个主要挑战：识别数据集特定的虚假线索（这通常需要领域知识），并减轻对它们的依赖。为了解决这两个问题，我们提出了 SpurCon，这是一个基于新颖的监督对比损失公式的轻量级框架，它利用可用的元数据和预测的虚假标签来增强鲁棒性。我们引入了一种快速的少样本程序，无需网络训练，即可使用少量专家注释的样本来估计虚假标签。然后，我们提出了一个加权监督对比目标 WtSupCon，它通过分配取决于[病理、虚假、元数据]组合的样本特定权重来重塑表示几何形状。例如，最高权重被分配给仅在虚假标签上不同的样本。这会产生具有相同元数据和病理学的图像的高度相似的表示，仅在预测的虚假标签上有所不同。我们的方法在预训练的图像编码器（例如 BiomedCLIP）上运行，并且仅训练轻量级投影头。我们在合成环境和 Waterbirds、CheXpert（胸部 X 射线分类数据集）和 ISIC 2020（皮肤癌分类数据集）上评估 SpurCon。我们的方法提供了最佳的杂散抑制性能，在多个数据集上很好地平衡了最差组和整体准确性。