论文
当内存足够时停止:LLM 代理的证据条件渐进执行
Stop When Memory Suffices: Evidence-Conditioned Progressive Execution for LLM Agents
摘要
LLM 向持久性和自适应智能的持续发展越来越需要长期记忆机制来在交互过程中保存和重用信息。现有的记忆系统要么压缩并构造历史以进行有效访问,要么在更广泛的轨迹上进行深入研究。前者降低了在线成本,但可能省略时间、因果或跨步骤依赖关系,而后者以大量延迟和推理成本提高了证据覆盖率。这就提出了一个关键问题:记忆系统能否在保持低在线延迟的同时实现强大的答案质量?我们引入了 Router-Mem,这是一种用于长视野代理记忆的证据条件渐进执行框架。 Router-Mem 首先应用共享的低成本检索前缀来获取证据。然后,轻量级充分性路由器预测上下文是否支持提前终止,从而在推理时实现单词元决策。它经过证据级监督和理由条件表示 蒸馏 的训练。当证据不足时,Router-Mem 会重用检索命中来扩展内存块并执行更深入的分析和聚合。在 AMA-Bench 和 BEAM 上的实验表明,与全内存执行相比,Router-Mem 取得了 55.17% 和 38.77% 的分数,同时平均推理时间减少了 27.3% 和 25.5%。