LAMAR：开放语言感知的多语言对齐重排序器

在多语言检索增强生成管道中，嵌入模型可以检索以多种语言编写的相关文档，随后在答案生成之前对这些文档进行重新排序。然而，目前尚不清楚现有的多语言重新排序器在对语义相关的候选排序时是否考虑文档语言。我们的分析表明，当语义等效的文档跨语言可用时，这些重新排序器不会始终如一地优先考虑以与查询相同的语言编写的文档，即使文档语言可以影响答案生成。我们发布了 LAMAR，一种语言感知的多语言交叉编码器，经过训练可以考虑语义相关性和语言连贯性。 LAMAR 首先使用英语锚定相关性 蒸馏 在多语言输入中建立一致的相关性评分，然后应用偏好对齐来实现语言连贯性，以鼓励使用与查询相同的语言编写的文档获得更高的排名，同时保留语义相关性。在一项旨在评估语言连贯性的对照实验中，LAMAR 在单独检查的所有语言中总体上取得了最佳性能。 LAMAR 在既定的多语言重新排名基准上也保持着竞争力。在实际检索设置中，LAMAR 在对第一阶段检索到的候选对象进行重新排名时，在所有报告的指标中取得了最佳结果。这些结果表明，LAMAR 考虑了语言连贯性，同时在一般多语言重新排名基准上取得了出色的表现。