论文
FairEnc：用于青光眼检测的具有公平视觉和文本编码器的公平视觉语言模型
FairEnc: A Fair Vision-Language Model with Fair Vision and Text Encoders for Glaucoma Detection
摘要
自动青光眼检测对于防止不可逆转的视力丧失和减轻医疗保健系统的负担至关重要。然而，确保不同患者群体的公平性仍然是一个重大挑战。在本文中，我们提出了 FairEnc，一种用于视觉语言模型 (VLM) 的公平预训练方法，可以跨多个敏感属性同时进行去偏。 FairEnc 共同减轻了涉及种族、性别、民族和语言等多种敏感属性的文本和视觉方式的偏见。具体来说，对于文本编码器，我们利用 大语言模型 生成具有各种敏感属性的综合临床描述，同时保留疾病语义，并采用对比对齐目标来鼓励人口统计不变的表示。对于视觉编码器，我们提出了一种双级公平策略，该策略结合了互信息正则化，以减少学习特征和人口群体之间的统计依赖性，并具有多判别器对抗性去偏差。对公开的Harvard-FairVLMed 数据集进行的综合实验表明，FairEnc 有效地减少了 DPD 和 DEOdds 测量的人口差异，同时在零样本和线性探测评估下实现了强大的诊断性能。对私有 FairFundus 数据集的其他实验表明，FairEnc 在跨域和跨模态设置下始终保持公平性优势，并将诊断性能保持在竞争范围内。这些结果凸显了 FairEnc 在分配变化下推广公平性的能力，支持其在现实临床环境中更公平部署的潜力。我们的代码库和综合临床记录可在 https://github.com/Mohamed-Elhabebe/FairEnc 获取