论文
现有长程Agent基准为何对上下文压缩过于友好
Benchmarks Are Surprisingly Compaction-Friendly
摘要
长程Agentic任务正将LLM Agent推向上下文窗口之外。为继续任务,Agent脚手架必须释放窗口空间,即上下文压缩。压缩通常有损:Agent可能静默丢失任务约束、指令或早先决策的理由。尽管它是编程Agent脚手架的标准组件,尚缺少在真实长程Agentic任务上使用前沿模型的系统研究;既有工作多用较小开放权重模型和玩具或合成轨迹。我们固定OpenCode脚手架,在其中实现5种压缩策略,在PaperBench、ProgramBench、PostTrainBench三个长程基准上评测3个前沿模型。对于两个1M上下文模型,压缩阈值没有可测的任务性能影响;上下文最小的GPT-5.3-Codex在较低阈值下的PaperBench表现更差,在PostTrainBench上也有较弱证据。没有方法优于默认自摘要,丢弃更多内容的方法使部分模型最多下降20分,对另一些则无影响。但压缩可能静默删除任务约束:ProgramBench首次摘要平均已丢失约三分之一的防作弊规则,且随压缩次数单调增加。在SWE-chat真实用户—Agent会话中,关于Agent应如何工作以及不应做什么的指令,比关于应构建什么的规格约易丢失6倍。我们认为现有基准对压缩较友好:目标固定,进展保存在磁盘,因此大部分被丢弃信息可恢复,唯独那些不在其他地方存在的约束无法恢复。
