论文
MIMO：通过单语言目标进行多语言信息检索
MIMO: Multilingual Information Retrieval via Monolingual Objectives
摘要
多语言信息检索 (MLIR) 反映了现实世界的搜索环境，其中查询和相关文档可能以混合语言语料库中的不同语言出现。然而，现有的嵌入模型主要针对多单语言检索进行了优化，并且它们的性能在 MLIR 设置中通常会下降。此外，直接将传统对比学习应用于 MLIR 会加剧语言聚类，并暴露跨语言对齐和嵌入一致性之间的权衡。为了解决这些限制，我们提出了 MIMO：通过单语言目标进行多语言信息检索，这是一个两阶段框架，使用来自高性能教师模型的稳定英语语义空间作为锚点。 MIMO首先通过知识蒸馏初始化学生模型的跨语言对齐，然后联合优化蒸馏和跨语言对比学习，以在保持对齐的同时提高检索辨别力。大量实验表明，在各种 MLIR 和多单语言基准测试中，MIMO 始终优于现有的跨语言训练基线。与类似或更大参数规模的现成模型相比，MIMO 仍然具有竞争力。此外，我们的跨语言对齐-均匀性分析阐明了两个损失分量的不同作用，并表明它们的组合在对齐和均匀性之间产生了有利的权衡。