论文
先测量,再管理:评估编码智能体的工作记忆
Measure Before You Manage: Evaluating Agent Working Memory in Coding Agents
摘要
代理工作记忆是异构的。指令、工件、工具输出和代理生成的状态等对象扮演不同的语义角色,并表现出不同的大小、保留和表示配置文件。最近的工作已经开始探索解释这种异质性的内存管理机制。这项工作的重点是语义异质性,并研究它如何塑造编码代理中工作记忆的管理和评估。在 55 个存档的编码代理轨迹中,我们发现语义上不同的工作记忆对象表现出不同的保留和压缩行为。这种异质性激发了语义知情的内存管理。我们研究两种语义信息策略:对象感知压缩策略和基于检索的策略。他们的评估表明,校准收益可能不会转移到保留的任务上,并且相同的token预算并不意味着相同的交付环境或管理成本。真实系统重播进一步暴露了单靠名义预算无法捕捉到的服务限制。总之,这些结果表明了为什么语义结构对于代理工作记忆很重要,以及为什么评估记忆管理策略需要的不仅仅是名义上的词元预算。我们将这些课程分为四个级别:存储状态、交付上下文、管理工作以及任务或流程结果。