CMDR：上下文多模态文档检索

多模式文档检索旨在检索相关页面，同时保留原始文档的文本和视觉内容。然而，现有的基准主要评估简单的词汇或语义匹配，并且大多数方法独立地对页面进行编码。因此，他们忽略了解决跨多个页面聚合信息的查询所需的文档中的上下文信息。在本文中，我们介绍了 CMDR 和 CMDR-Bench，这是一种需要对文档上下文进行建模的新多模式文档检索任务和基准。为了应对这一挑战，我们提出了 CMDR-Embed，这是一种上下文多模态嵌入框架，它通过联合编码多个页面并从共享上下文表示中导出页面级嵌入来显式合并文档上下文。此外，我们引入了 CMCL，一种上下文多模态对比学习目标，它通过平衡上下文建模与页面级可辨别性来有效地训练 CMDR-Embed。实验表明，CMDR-Embed 的性能显着优于非上下文嵌入，凸显了上下文感知多模态嵌入对于推进文档检索的重要性。