论文

ContextWeaver:LLM 代理的选择性和依赖结构内存构建

ContextWeaver: Selective and Dependency-Structured Memory Construction for LLM Agents

上下文与知识上下文工程

摘要

大语言模型 (LLM) 代理经常在长上下文交互中陷入困境。随着代理积累更多的交互历史,上下文管理方法(例如滑动窗口和提示压缩)可能会忽略后续步骤所依赖的早期结构化信息。最近基于检索的记忆系统显示了相关内容,但仍然忽略了多步骤推理所需的因果和逻辑结构。我们引入了 ContextWeaver,一个选择性的、依赖结构的记忆框架,它将代理的交互跟踪组织成推理步骤图,并为未来的操作选择相关上下文。与之前的上下文管理方法不同,ContextWeaver 支持:(1)基于依赖关系的构造和遍历,将每个步骤链接到它所依赖的早期步骤; (2)紧凑的依赖总结,将根到步骤的推理路径压缩为可重用的单元; (3) 包含执行反馈的轻量级验证层。在 SWE-Bench Verified 和 Lite 基准测试中,ContextWeaver 提高了 pass@1 中滑动窗口基线的性能,同时减少了推理步骤和词元使用。我们的观察表明,建模逻辑依赖关系为使用工具的 LLM 代理提供了稳定且可扩展的内存机制。