MemReread：通过记忆引导重读增强代理长上下文推理

为了在没有标准注意机制的二次复杂度的情况下处理长上下文推理任务，出现了基于代理内存的方法，这些方法通常在线性处理文档块时维护动态更新的内存。为了减轻这种边读边记的范式中潜在证据的潜在损失，最近的工作集成了检索模块，允许智能体回忆起之前在记忆覆盖期间丢弃的信息。然而，基于检索的回忆会受到记忆形成过程中证据丢失和无效查询引起的干扰的影响。为了克服这些限制，我们提出了 MemReread。 MemReread 基于流式读取而构建，避免了中间检索。当最终记忆不足时，触发问题分解和重读，从而能够恢复过早丢弃的间接事实。这种设计支持非线性推理，同时保留文档理解的固有逻辑流程。为了进一步增强实用性，我们引入了强化学习框架，该框架增强了长度外推能力，同时根据任务复杂度动态确定重读遍数，从而灵活控制计算开销。大量实验表明，MemReread 在长上下文推理任务上始终优于基线框架，同时保持相对于上下文长度的线性时间复杂度。