LëtzCross：卢森堡文档多模式检索的跨语言页面级基准

最近的页面图像 检索器（例如 ColPali）改进了对视觉丰富文档的检索，但人们对它们在跨语言、资源匮乏的环境中的行为知之甚少。我们推出 LëtzCross，这是卢森堡 PDF 文档跨语言页面级检索的基准，文档页面以图像形式索引，并以英语、法语、德语和卢森堡语提供查询。该基准测试结合了以文本为中心的 QA 对和基于视觉的 QA 对，涵盖了基于 PDF 的 RAG 中的文本和视觉检索需求。我们使用 LëtzCross 将基于 OCR 的纯文本 检索器 与 ColPali 样式的页面图像 检索器 进行比较，发现后者在系统级比较中跨查询语言表现更好。我们还检查单语言和多语言 微调。 微调 可以跨查询语言进行传输，在单语言设置中，法语在卢森堡语查询上的平均性能最高。在多语言设置中，包括卢森堡语可提供最强的结果，并显着改善卢森堡语查询的检索。