论文
LLM时代的内存:统一框架中的模块化架构和策略
Memory in the LLM Era: Modular Architectures and Strategies in a Unified Framework
摘要
内存作为基于 大语言模型 (LLM) 的代理的核心模块出现,用于长期复杂任务(例如多轮对话、游戏、科学发现),其中内存可以实现知识积累、迭代推理和自我进化。文献中已经提出了多种记忆方法。然而,这些方法尚未在相同的实验设置下进行系统、全面的比较。在本文中,我们首先从高层角度总结了一个涵盖现有代表性代理记忆方法的统一框架。然后,我们在两个长期会话基准和代理记忆基准上广泛比较代表性代理记忆方法,并检查代表性方法的有效性,对这些方法进行全面分析。作为实验分析的副产品,我们还通过利用现有方法中的模块设计了一种新的记忆方法,其性能优于最先进的方法。最后,基于这些发现,我们提供了有前途的未来研究机会。我们相信,对现有方法行为的更深入理解可以为未来的研究提供有价值的新见解。