LLM 代理的基于文件系统的内存：组织、演变和可持续性

部署的 LLM 代理越来越多地将其长期记忆保留为文件系统：代理本身通过​​通用文件工具读取、写入和重新组织的 Markdown 文件的目录树。然而，研究很大程度上忽略了这种媒介：先前的系统设计定制的记忆表示并研究对它们的检索，而默认的两个工作假设未经测试：代理可以随着记忆的积累、冲突和陈旧而组织不断增长的存储，并且该组织付费。我们首次对 LLM 代理的基于文件系统的内存进行系统探索。我们将设置形式化为围绕一个内存文件系统的三个角色：管理代理集成和组织传入的内容，搜索代理通过引用的源回答查询，执行代理提供提炼为技能的任务轨迹，将声明性记忆和技能统一在一个存储中。在长时间对话基准和具体任务中，我们改变了内存形状（代理组织的层次结构、逐字转储、块检索）、流规模、工具利用（沙盒外壳、内存工具式函数、各种搜索工具）以及管理和搜索代理的优势，随着内存的增长跟踪答案质量、成本和存储运行状况。组织可靠地购买的是搜索经济：组织良好的商店将大量材料的检索成本大致减半。然而，今天的代理没有达到默认的承诺：在我们的成长研究中，除了最强大的管理代理之外，所有代理的组织都会受到侵蚀，而且我们衡量的代理都无法将组织本身转变为更好的答案。而且模型并不是影响商店形状的唯一杠杆：仅改变工具集就可以像更换模型一样强烈地重塑商店。该研究将文件系统默认值从假设转变为代理内存的设计空间。