CoCoA：大语言模型 的上下文条件文化对齐

大语言模型 (LLM) 通常偏爱跨文化背景下与西方相关的实体。传统的去偏见方法旨在统一中立，但文化偏见缓解需要上下文条件行为，当文化线索存在时更喜欢文化上适当的实体，而当文化线索不存在时保持中立。我们提出了 CoCoA（上下文条件文化对齐），这是一个框架，通过在有文化线索和没有文化线索的背景下对相同实体对进行双上下文训练来学习这种行为。 CoCoA 将对比对准目标与校准和漂移正则化相结合，并通过目标感知梯度协调进行优化。我们在 CAMeL 和 Camellia（两个以实体为中心的文化偏见基准）上评估 CoCoA，涵盖十种语言设置和四种 LLM。 CoCoA 将文化偏见得分从 43 平均降低到 24，同时将偏好保持在 50.2 左右，对五个标准基准的总体表现影响最小。这些发现强调，有效的文化一致性需要上下文条件建模而不是统一去偏见，并为 LLM 中减轻以实体为中心的文化偏见建立了新方向。