论文

AutoMem:用于自动内存架构搜索的文本梯度递归自我改进框架

AutoMem: A Text-Gradient Recursive Self-Improvement Framework for Automated Memory Architectures Search

智能体系统智能体自我改进

摘要

长期记忆对于 LLM 代理来说越来越重要,但记忆设计仍然是一个高度耦合的架构问题:编码什么、如何存储、如何检索以及如何管理在不同的任务和骨干模型中可能存在很大差异。我们构建了一个具有 5 个编码器、5 个存储、6 个 检索器 和 4 个管理器的离散搜索空间,并表明没有单一的内存架构能够始终占据主导地位:不同的任务有利于不同的模块组合,从而导致巨大的性能差距。受此启发,我们提出了 \textsc{AutoMem},一种用于任务自适应内存架构搜索的文本梯度递归自我改进框架。 \textsc{AutoMem} 通过两个组件对分解空间进行优化:体验引导架构搜索,根据历史搜索轨迹和累积反射提出候选架构;故障引导模块诊断,将与内存相关的故障定位到特定模块并将其转换为有针对性的文本反馈。在两个 LLM 主干上对 GAIA、WebWalkerQA 和 xBench-DeepSearch 进行的实验表明,\textsc{AutoMem} 始终如一地发现任务自适应内存架构,其性能优于最强的人类设计的内存基线,在六个基准主干设置中平均将准确性提高了 2.8$ 点。进一步的分析表明,\textsc{AutoMem} 实现了有利的准确性与效率的权衡,与 Qwen3.5-122B-A10B 下最强的准确性基线相比,将词元成本降低了 14.3%$,同时仅在几次引导迭代内就找到了比更大的随机搜索更强的架构。