论文

基于多准则潜在推理的编码智能体上下文剪枝

Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning

上下文与知识上下文工程

摘要

LLM驱动的编码智能体将大部分token预算花在读取仓库文件上,而其中许多检索到的代码与当前任务无关。现有的学习型剪枝器用单目标序列标注器压缩该上下文,把代码相关性的所有侧面压缩为一个分数和一个转移矩阵。我们证明这种形式化造成建模瓶颈:单一的CRF转移先验必须同时服务异构的保留模式,包括连续的语义片段与稀疏的结构性支撑行。我们提出LaMR(Latent Multi-Rubric),一个结构化剪枝框架,将代码相关性分解为两个可解释的质量维度——语义证据与依赖支撑,各自由一个具有维度特定转移动力学的专用CRF建模。混合专家门控网络依据查询对逐准则的发射概率动态加权,在融合发射之上的最终CRF层产生聚合的保留或剪枝决策。为在不增加标注成本的情况下监督每个维度,我们通过基于AST的程序分析从现有训练语料推导多准则标签,同时对教师的二值标签去噪。通过有效过滤干扰噪声,LaMR常常追平甚至超过不剪枝的全上下文基线。在四个基准(SWE-Bench Verified、SWE-QA、LCC、LongCodeQA)上的实验显示,LaMR在16组多轮正面对比中赢得12组。它在多轮智能体任务上最多节省31%的token,在单轮任务上将Exact Match最多提升+3.5,且性能常因上下文去噪而增强,残余的下降也是边际性的。