ASTC：以模型内软token压缩长程Agent交互上下文

长程LLM Agent承担复杂而持续的任务，交互上下文会不断增长，增加计算成本并掩盖关键决策证据。现有方法往往训练外部压缩器或上下文管理Agent，将上下文改写为较短硬token序列；外部选择却可能不匹配LLM持续变化的表征，而且必然有损。我们提出Agentic软token压缩（ASTC），一种在LLM Agent内部使用软token、无需训练的长程任务压缩方法。ASTC利用常见混合Gated Delta Network（GDN）—注意力架构的原生递归动态，识别已经被模型吸收的信息，将其作为Agentic软token向后传递，同时以硬token保留精确数值。所得紧凑序列减少后部层的计算并形成可复用KV Cache，使节省贯穿Agent轨迹。广泛长程任务实验表明，ASTC可达到或超过未压缩Agent的准确率，端到端注意力对数量最多减少50.68%；训练式压缩器每完成一项成功任务则需要15.4–103.7倍的注意力对开销。结果表明，Agentic软token提供了一种模型原生方式，让已吸收的上下文随任务表征演变而继续传递。