论文

现有长程Agent基准为何对上下文压缩过于友好

Benchmarks Are Surprisingly Compaction-Friendly

智能体系统上下文与知识应用与实践上下文工程Agent任务评测编程长程任务评测

摘要

长程Agentic任务正将LLM Agent推向上下文窗口之外。为继续任务,Agent脚手架必须释放窗口空间,即上下文压缩。压缩通常有损:Agent可能静默丢失任务约束、指令或早先决策的理由。尽管它是编程Agent脚手架的标准组件,尚缺少在真实长程Agentic任务上使用前沿模型的系统研究;既有工作多用较小开放权重模型和玩具或合成轨迹。我们固定OpenCode脚手架,在其中实现5种压缩策略,在PaperBench、ProgramBench、PostTrainBench三个长程基准上评测3个前沿模型。对于两个1M上下文模型,压缩阈值没有可测的任务性能影响;上下文最小的GPT-5.3-Codex在较低阈值下的PaperBench表现更差,在PostTrainBench上也有较弱证据。没有方法优于默认自摘要,丢弃更多内容的方法使部分模型最多下降20分,对另一些则无影响。但压缩可能静默删除任务约束:ProgramBench首次摘要平均已丢失约三分之一的防作弊规则,且随压缩次数单调增加。在SWE-chat真实用户—Agent会话中,关于Agent应如何工作以及不应做什么的指令,比关于应构建什么的规格约易丢失6倍。我们认为现有基准对压缩较友好:目标固定,进展保存在磁盘,因此大部分被丢弃信息可恢复,唯独那些不在其他地方存在的约束无法恢复。

现有长程Agent基准为何对上下文压缩过于友好:论文配图
图 1:压缩保留Agent可以从磁盘重新读取的内容,并删除一些它不能重新读取的规则。左:ProgramBench 运行的概述。任务提示说明了目标和反作弊规则:禁止复制参考实现或将其源码纳入项目、禁止访问互联网以及不派生或包装参考的原始实现。在每次压缩时,Agent都会用摘要替换其上下文。目标和Agent的进度仍然存在,因为Agent可以重新读取其文件,规则仅存在于上下文中,因此摘要丢弃的规则会丢失。平均而言,第一次压缩后大约会丢失三个规则中的一个,第十个压缩后大约会丢失两个规则。右图:(1) 对于 1M 上下文模型,当在 160K 到 380K token的阈值下强制压缩时,任务分数几乎没有变化; (2) 随着 ProgramBench 上压缩的积累,以及在 SWE-chat 的真实用户会话上,压缩删除流程指令(“如何工作”)和范围排除(“不要碰 X”)的频率远高于功能需求(“构建什么”)。