论文
DocMemo:基于概率式记忆引导检索的多模态文档理解动态证据发现
DocMemo: Dynamic Evidence Discovery via Probabilistic Memory-Guided Retrieval for Multi-Modal Document Understanding
摘要
长文档理解需要在数百页中定位稀疏且异构的证据,但现有系统仍受限于静态检索与脆弱的跨轮记忆。主流单轮方法一开始就锁定固定的top-k页面集合,难以从早期检索错误中恢复;近期的迭代方法允许多轮证据获取,但未研究跨轮状态的传播机制,难以跟踪页面相关性的动态变化。为解决这些局限,我们提出DocMemo,一个将长文档推理形式化为动态证据探索的记忆引导框架。DocMemo维护由文档模式记忆(Document Schema Memory)、页面信念记忆(Page Belief Memory)与问题情景记忆(Question Episodic Memory)构成的三级检索状态,分别捕获结构先验、动态相关性估计与查询特定的推理轨迹。在推理过程中,DocMemo通过带Thompson采样的贝叶斯页面信念更新、空间邻近传播以及结构感知的自适应粒度证据访问,持续细化跨轮页面选择,并以细粒度视觉区域补充页面级证据。在3个基准上的实验表明,DocMemo取得了最先进的性能,并验证了结构化记忆与动态页面信念更新的有效性。代码见 https://github.com/Harrygof/DocMemo。
