论文

AttnCompress:软件工程代理的动态注意力引导轨迹压缩

AttnCompress: Dynamic Attention-Guided Trajectory Compression for Software Engineering Agents

上下文与知识上下文工程

摘要

从以人为中心的协助到自主软件工程 (ASE) 代理的转变使得能够解决复杂的现实世界 SE 任务。然而,这些代理的试错性质会产生冗长的交互轨迹,在上下文窗口限制和成本方面造成严重的瓶颈。虽然上下文压缩提供了一种潜在的补救措施,但先前的方法受到静态修剪策略和粒度不匹配的影响,通常无法保留对 SE 任务至关重要的语义依赖性和语法细节。为了严格保留关键任务证据,同时减少上下文长度,我们引入了 AttnCompress,一种动态注意力引导轨迹压缩框架。与现有方法不同,AttnCompress 通过三个关键机制弥合了语义完整性和动态适应性之间的差距:(1)通过困惑度(PPL)尖峰进行结构感知分割,以保留代码和日志的句法结构; (2)使用代理注意力权重进行相关性估计,以量化历史块与代理当前推理的精确相关性; (3)动态滚动窗口,随着任务的发展重新评估和回忆历史背景。对 SWE-Bench-Verified 和 Multi-SWE-Bench 的广泛评估表明,AttnCompress 的通过率达到 53.17%,优于之前最先进的基准,同时将词元消耗减少 21.6%,总成本减少 33.6%。事实证明,该框架与模型无关,并且可以有效地跨不同的编程语言进行推广。