论文

DocMemo:基于概率式记忆引导检索的多模态文档理解动态证据发现

DocMemo: Dynamic Evidence Discovery via Probabilistic Memory-Guided Retrieval for Multi-Modal Document Understanding

上下文与知识检索增强记忆Agent记忆

摘要

长文档理解需要在数百页中定位稀疏且异构的证据,但现有系统仍受限于静态检索与脆弱的跨轮记忆。主流单轮方法一开始就锁定固定的top-k页面集合,难以从早期检索错误中恢复;近期的迭代方法允许多轮证据获取,但未研究跨轮状态的传播机制,难以跟踪页面相关性的动态变化。为解决这些局限,我们提出DocMemo,一个将长文档推理形式化为动态证据探索的记忆引导框架。DocMemo维护由文档模式记忆(Document Schema Memory)、页面信念记忆(Page Belief Memory)与问题情景记忆(Question Episodic Memory)构成的三级检索状态,分别捕获结构先验、动态相关性估计与查询特定的推理轨迹。在推理过程中,DocMemo通过带Thompson采样的贝叶斯页面信念更新、空间邻近传播以及结构感知的自适应粒度证据访问,持续细化跨轮页面选择,并以细粒度视觉区域补充页面级证据。在3个基准上的实验表明,DocMemo取得了最先进的性能,并验证了结构化记忆与动态页面信念更新的有效性。代码见 https://github.com/Harrygof/DocMemo。

DocMemo:基于概率式记忆引导检索的多模态文档理解动态证据发现:论文配图
图1:DocMemo的概览与动机。(a) 单轮静态检索在推理之前即固定于一个候选页面池;一旦错过关键证据,模型便无法修正其搜索轨迹。(b) 迭代式检索允许多轮搜索,但缺乏跨轮次的状态传播机制。(c) DocMemo引入三层记忆结构。推理反馈通过贝叶斯页面信念更新和空间邻近传播写回,实现记忆引导的动态证据发现和自适应粒度的证据访问。