论文

IndicFairFace:平衡的印度人脸数据集,用于审核和减轻视觉语言模型中的地理偏差

IndicFairFace: Balanced Indian Face Dataset for Auditing and Mitigating Geographical Bias in Vision-Language Models

模型评测鲁棒性、公平性与可信度评测

摘要

众所周知,视觉语言模型 (VLM) 会继承并放大其网络规模训练数据中的社会偏见,其中印度人尤其被歪曲。现有的公平意识数据集显着改善了全球种族和性别群体的人口平衡,但它们仍然将印度人视为一个单一的整体类别。这种过于简单化的做法忽视了印度 28 个邦和 8 个中央直辖区的巨大国内多样性,并导致代表性和地域偏见。为了解决这一限制,我们提出了 IndicFairFace,这是一个新颖且平衡的人脸数据集,包含代表印度地理多样性的 14,400 张图像。图片均来自维基共享资源和开放许可网络存储库,并且在各州和性别之间保持统一平衡。使用 IndicFairFace,我们量化了基于 CLIP 的著名 VLM 中的国家内部地理偏差,并使用事后迭代零空间投影去偏差方法来减少它。我们还表明,所采用的去偏方法不会对现有嵌入空间产生不利影响,因为基准数据集上检索精度的平均下降幅度小于 1.5%。我们的工作将 IndicFairFace 确立为研究印度背景下 VLM 地理偏见的第一个基准。

IndicFairFace:平衡的印度人脸数据集,用于审核和减轻视觉语言模型中的地理偏差 | 沙丘社区