MLAIRE：多语言语言感知信息检索评估协议

多语言信息检索在现实世界的搜索设置中变得越来越重要，用户通过混合语言语料库发出查询。现有的评估主要奖励与语言无关的语义相关性，无论语言如何，都平等地对待相关段落。然而，检索实用性还取决于检索到的段落的语言：用户可能更喜欢他们可以用查询语言阅读和验证的结果，而查询-段落语言不匹配可能会使检索增强生成系统中的下游基础和答案验证复杂化。为了评估这种语言感知维度，我们引入了 MLAIRE，一种多语言语言感知信息检索评估协议，它将跨语言语义检索与查询语言偏好分开。 MLAIRE 通过跨语言的并行段落构建受控池，从而在等效翻译可用时能够测量语义检索准确性和查询语言偏好。我们提出了语言感知指标，包括语言偏好率 (LPR) 和 Lang-nDCG，以及分离语义和查询语言偏好失败的 4 路分解。通过评估 31 个密集、稀疏和后期交互的 检索器，我们发现标准指标掩盖了不同的行为：语义强的 检索器 可能会以非查询语言返回正确的内容，而具有更强查询语言偏好的 检索器 可能会检索语义相关性较低的段落。