论文
AWM:长文档 VQA 代理的可应答工作记忆
AWM: Answerable Working Memory for Long-Document VQA Agents
摘要
长文档视觉问答越来越依赖于 VLM 代理来检索候选页面、检查页面图像、将结果写入工作记忆并合成答案。工作记忆应该在页面检查中携带答案支持证据,以供以后有依据的回答,但现有的评估主要检查最终答案的正确性和证据页面的访问。这会产生内存质量盲点:代理可能会到达正确的页面并正确回答,但留下的内存过于通用或不完整,一旦页面上下文被删除,就无法支持回答。我们引入 \emph{仅记忆可回答性},这是一种诊断,询问读者是否可以仅从问题和终端工作记忆中回答。在此诊断的基础上,\emph{可回答工作记忆}(AWM)将终端工作记忆视为可回答的证据工件,并且 AWM-GRPO 将此信号合并到 GRPO 奖励中,同时保留最终答案优先级。在 GRPO 下,这种奖励为最终工作记忆仍然可以回答的正确答案轨迹分配了更高的优势。在\textsc{MMLongBench-Doc}上,即使提供了标注证据页面,42.5%的正确答案仍然无法仅从终端工作记忆中得到答案。 AWM-GRPO 在 \textsc{MMLongBench-Doc} 和 \textsc{LongDocURL} 上将最终答案准确率比 RAG 基线提高了 8.1 和 11.9 个点,并将记忆缺失正确率比仅答案 GRPO 降低了 2.7 个点。