通过隐式文化对齐奖励模型消除文本到图像评估的偏差

随着文本到图像（T2I）系统的快速发展，评估合成内容的文化真实性对于公平和值得信赖的生成人工智能变得越来越重要。现有的 T2I 评估指标和多模态评判通常依赖于视觉语义表示，而这些表示不足以代表隐含的文化规范，从而导致偏好判断出现偏差并遗漏细粒度的文化线索。此外，基于视觉问答（VQA）的评估器通常依赖于自回归文本生成，这限制了它们实时奖励建模的可扩展性。为了解决这些限制，我们引入了一种基于轻量级 42 亿参数多模态 大语言模型 (MLLM) 的隐式文化一致性奖励模型。我们的框架将隐式文化探针与跳过连接交叉注意（SkipCA）机制集成在一起，使后期语义特征能够直接参与早期视觉表示并更好地保留文化显着细节。对来自 CultureFrames 基准的 3,323 个具有挑战性且精心策划的图像对进行的评估表明，我们的方法实现了 83.49% 的成对准确率，Pearson 和 Kendall 相关系数分别为 0.5268 和 0.3749，优于代表性视觉语言指标和基于 MLLM 的评估器。此外，通过绕过自回归文本生成，我们的模型在本地推理设置下在 0.21 秒内处理每个评估，比基于标准 VQA 的评估器实现了 10 倍的加速。这些结果表明，所提出的奖励模型可以为偏好优化管道（例如来自人类反馈的强化学习和直接偏好优化）提供有效且具有文化意识的标量信号。我们的项目页面上提供了其他资源：https://bensonch1214.github.io/Implicit_Cultural_Alignment/。