MARA：用于文档问答的多模态自适应检索增强框架

基于检索的多模态文档质量检查旨在从具有复杂多模态结构的视觉丰富文档中识别和集成相关信息。虽然检索增强生成 (RAG) 在基于文本的 QA 中表现出了强大的性能，但其对多模式文档的扩展仍未得到充分探索，并面临重大限制。具体来说，当前的方法依赖于与查询无关的文档表示，忽略了显着内容并使用静态的 top-k 证据选择，这无法适应相关信息的不确定分布。为了解决这些限制，我们提出了多模态自适应检索增强（MARA）框架，该框架在检索和生成中引入了查询自适应机制。 MARA 由两个组件组成：一个查询对齐区域编码器，用于构建多级文档表示并根据查询相关性重新加权以提高检索精度；自我反思证据控制器，在生成过程中监控证据充分性，并使用滑动窗口策略自适应地合并来自较低排名来源的内容。对六个多模态 QA 基准的实验表明，与现有 SOTA 方法相比，MARA 持续提高了检索相关性和答案质量。