论文
沉睡的智能体:要旨式上下文压缩的得失与机制
The Sleeping Agent: What Gist-Based Context Compression Loses and Why
摘要
要旨式上下文压缩——将较旧的对话历史总结为紧凑表示——是长程语言模型智能体中的常见做法,但其对不同类型记忆检索的影响尚不清楚。我们使用显著性加权巩固(Salience-Weighted Consolidation, SWC),一个受睡眠记忆巩固启发的生物机制压缩框架,作为诊断探针,研究要旨压缩何时有帮助、何时有害。SWC按显著性为对话历史评分,将其划分为优先级层级,并对中等优先级内容应用结构化要旨抽象。在温度0下对全部十段LoCoMo对话评估四种条件——共1,935个匹配的纯文本问题,其中排除类别5(对抗性)问题后的1,501个用于主聚合分析——我们发现一致的任务类型交互:要旨压缩在多跳推理和单跳事实问题上大幅优于截断,但时间类问题在压缩下依然显著更难,在同时评估两种条件的对话上,压缩条件得分远低于完整上下文参照。我们将这一失败追溯到一个具体机制:要旨抽象提示词保留了关系和事件结构,却丢弃了日期和时间。跨全部十段对话的保留分析证实了该机制:仅一句提示词修改,时间表达保留率提升约20倍(3.05%至62.39%),而命名实体和事件保留率几乎不变(x1.02和x1.11),表明这一修复是精密仪器。该提示词修改在匹配集的类别2(时间)问题上恢复了+0.314 [0.254, 0.375]的裁判准确率。代码与结果:https://github.com/kyrkewood/sleeping-agent。