论文
FairLLaVA：用于大型视觉语言助手的公平感知参数高效 微调
FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants
摘要
虽然在图像调节生成方面功能强大，但多模态 大语言模型 (MLLM) 可以在不同人口群体中表现出不均匀的表现，突出公平风险。在安全关键的临床环境中，这种差异可能会产生不平等的诊断叙述，并削弱对人工智能辅助决策的信任。虽然公平性已在仅视觉和仅语言模型中进行了广泛研究，但其对 MLLM 的影响在很大程度上仍未得到充分研究。为了解决这些偏差，我们引入了 FairLLaVA，这是一种参数高效的 微调 方法，可以在不影响整体性能的情况下减轻视觉指令调整中的群体差异。通过最小化目标属性之间的互信息，FairLLaVA 将模型的表示规范化为人口统计不变的。该方法可以作为轻量级插件合并，通过低秩适配器 微调 保持效率，并提供一种与体系结构无关的方法来公平地遵循视觉指令。对大规模胸部放射学报告生成和皮肤镜视觉问答基准的广泛实验表明，FairLLaVA 持续减少组间差异，同时提高不同医学成像模式的公平规模临床表现和自然语言生成质量。代码可以在 https://github.com/bhosalems/FairLLaVA 访问。