论文
Pix2Evidence：联合页面截图与转写检索可支持答案的视觉证据
Pix2Evidence: A Multimodal RAG System for Text and Visual Evidence
摘要
对视觉内容丰富的文档进行检索增强生成 (RAG) 必须找到相关内容和支持答案的证据。屏幕截图检索保留图像和页面结构，但屏幕截图中的书面事实也需要可搜索。此外，仅主题相关性并不能识别哪个检索到的图块包含答案的证据。我们引入了 Pix2Evidence，这是一种多模态RAG 系统，它将每个屏幕截图图块及其可用转录编码为单个融合图像 - 文本表示，以便在检索过程中共同考虑布局和可读文本。为了指导证据选择，视觉语言教师模型描述了支持每个训练问题的可见内容。我们使用这些描述来调整检索器，然后在生成答案之前对检索到的候选者重新排序。大量实验表明 Pix2Evidence 的性能优于最先进的方法。在五个广泛使用的维基百科 QA 基准中，未重排的 Pix2Evidence 在主要对照中于四个基准的答案准确率领先。在 MMSearch 上，达到 26.0%，比 PixelRAG 高出 4.4 个百分点。我们将在许可和隐私审查允许的情况下发布代码并共享派生数据。
