论文

跨语言共识:通过多语言自我一致性来协调多语言文化知识

Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency

模型训练合成数据

摘要

尽管 大语言模型 (LLM) 在各种任务中表现出强大的功能,但它们在不同语言之间表现出显着的性能差异。虽然用英语提示 LLM 通常会产生最高的总体性能,但它常常会引发以西方为中心的偏见,阻碍模型准确反映不同文化知识的能力。我们假设 LLM 已经拥有嵌入本地语言表示中的丰富文化知识,但在英语提示时无法检索它。为了弥合这种跨语言知识差距,我们提出了一种新颖的自我监督框架。我们的方法利用多语言自我一致性来识别跨语言的最可靠的文化反应,并结合自我批评机制将这些知识转移到较弱的语言。对 BLEnD 基准的评估表明,我们的方法显着提高了文化一致性——英语查询的性能平均提高了 5.03%——完全依赖于自我生成的数据。最终,我们的工作表明,潜在的文化知识可以成功地跨语言浮现和传播,从而实现文化上更加公平和一致的 LLM。