论文
计划不会持久:为什么上下文管理对LLM智能体是承重结构
Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents
摘要
长程智能体依赖上下文管理:系统压缩、总结并驱逐旧token——使任务能在有限窗口之外继续。只有当被丢弃信息不再需要或已被内化时这才安全。计划是压力案例:它们写得早、用很多步、最先被驱逐。我们引入重放配对——诊断方法:以带计划与不带计划两种历史运行同一轨迹并测量隐藏态余弦距离。在Llama-3.1-70B上——计划信号在计划后一步飙到0.453——随后在单个动作-观察步内跌4.1倍;HotpotQA跌12.4倍。这证明标准LLM智能体不把计划作为持久状态携带——而是依赖计划留在上下文中。L32层探针把该衰减检测为诊断——而非证明它读取计划内容本身。推理模型带来测量混淆:其<think>踪迹重新推导计划内容——标准剥离使剥离条件仍留有计划证据。我们命名该现象为推理踪迹混淆——并以严格剥离修复:仅从剥离运行移除先前<think>块。它在样本内恢复+163%的步+1信号、留出+153%——而对非推理Llama无实质改变(+4.8%)。在DeepSeek-R1-Distill-Llama-70B上——Llama训练的探针以AUROC 0.748迁移(p=6e-4)——而R1专属探针达1.000——提示R1在不同隐藏态方向编码计划信号。最后——压缩压力测试展示实际代价:朴素计划驱逐使ALFWorld成功率掉34.7pp——而探针门控的重新浮现无法挽回。贡献是测量与压力测试框架:智能体关键信息可以是上下文驻留而非持久的。上下文管理是承重结构——但仅保护计划并不够。