论文

SWE-Pruner Pro:编码器 LLM 已经知道要修剪什么

SWE-Pruner Pro: The Coder LLM Already Knows What to Prune

上下文与知识上下文工程

摘要

修剪 编码智能体 的长上下文一直是高效上下文管理的重要技术。虽然现有的上下文修剪方法(例如 SWE-Pruner)通过附加单独的代码分类器来实现这一点,但我们发现代理本身对内部表示进行编码,以指示在读取工具输出时代码上下文的相关性。基于这一发现,我们提出了 SWE-Pruner Pro,它直接在代理内部修剪工具输出。具体来说,一个小头将代理自己的内部表示转换为每行的保留或修剪标签,并根据每个工具输出的行数进行长度感知嵌入。在两个开放权重主干和四个多轮基准测试中,SWE-Pruner Pro 节省了高达 39% 的提示和完成词元,同时保持任务质量,推理开销有限。值得注意的是,在 MiMo-V2-Flash 上,SWE-Pruner Pro 还将 SWE-Bench Verified 解析率提高了 3.8%,长上下文乌龙准确率提高了 2.2 点。