论文
视觉语言情境学习中的性别偏见
Gender Bias in Vision-Language In-Context Learning
摘要
上下文学习 (ICL) 使大型视觉语言模型 (LVLM) 能够通过遵循上下文示例中的模式来执行任务，但其放大社会偏见的潜力仍未得到充分开发。我们通过 VL-BICLE 系统地研究 ICL 如何影响 LVLM 中的性别偏见，VL-BICLE 是一个包含六个 ICL 设置、三个任务和四个数据集的评估框架。我们对 6 个 LVLM 进行的实验表明，性别化的 ICL 演示充当了一种方向性力量，通过跨性别机制将模型偏见转向所演示的性别，该机制会不成比例地降低异性的表现。这种效应出现在图像字幕和代词预测中，但没有出现在视觉问答中，表明性别 ICL 仅当任务输出涉及性别语言时才会影响偏差。基于相似性的检索方法继承了训练池的性别不平衡，并且不提供消除偏差的优势，而标准质量指标仍然对这些偏差变化视而不见。为了减轻这种偏差，我们用稳定扩散模型中的合成图像替换了真实的上下文图像，同时保持标题不变。这种简单的干预措施可以减少性别偏见，而不会降低字幕质量。