SDGBiasBench：基准测试和缓解视觉——语言模型在可持续发展目标中的偏差

评估可持续发展目标 (SDG) 的进展需要对视觉线索、背景知识和发展指标进行多步骤推理，其中不完整的证据使用和不完善的证据整合可能会引入隐藏的预测偏差。现实世界的可持续发展目标监测进一步涵盖定性判断和定量估计。然而，现有的基准通常单独评估这些方面，掩盖了模型用先验代替证据时出现的系统偏差。为了解决这一差距，我们提出了 SDGBiasBench，这是一个用于面向 SDG 的视觉语言推理的大型基准套件。该基准涵盖 50 万个专家参与的多项选择题和 5 万个回归任务，能够对视觉语言模型 (VLM) 中的决策级和估计级偏差进行全面评估。对 SDGBiasBench 的评估揭示了当前 VLM 中固有的 SDG 偏差，其中预测经常由 SDG 特定先验驱动，而不是可靠的多模态线索。为了减轻这种偏差，我们提出了 CADE（对比自适应 Debias Ensemble），这是一种 无需训练 即插即用方法，利用特定于模态的答案先验。 CADE 在提议的基准上取得了显着的进步，将多项选择的准确性提高了 25%，并将多个 VLM 的回归 MAE 降低了多达 12 个点。我们希望我们的工作能够促进开发更公平、更可靠的人工智能系统，以实现可持续发展。