论文
EviProp:用于长多模式文档检索的块页面图上的种子相关性扩散
EviProp: Seeded Relevance Diffusion on Chunk-Page Graphs for Long Multimodal Document Retrieval
摘要
从视觉丰富的长文档中检索证据页面是文档问答中的一个关键挑战。现有的页面级视觉 检索器 在独立的匹配范例下运行:根据查询页面相似性对每个页面进行单独评分。这种范例可能会降低信号位于细粒度块中或依赖于文档内部关联的证据页面。我们提出了 EviProp,一种通过种子相关性扩散来恢复此类页面的检索方法。 EviProp 将每个文档建模为具有分层、顺序和相似性链接的多模式块页面图。给定一个查询,它将密集的视觉页面先验与稀疏的块种子相结合,然后运行个性化 PageRank 以在图表上扩散相关性。 MMLongBench-Doc 和 LongDocURL 上的实验表明,证据页面检索相对于独立视觉检索和文本视觉融合基线具有一致的增益。下游 QA 结果进一步表明,改进的检索可以转化为更好的答案准确性,而在线检索开销可以忽略不计。我们的代码发布于 https://github.com/Flyecnu/EviProp。