论文

CodeComp:用于代理编码的结构 KV 缓存压缩

CodeComp: Structural KV Cache Compression for Agentic Coding

模型推理KV Cache

摘要

诸如故障定位和补丁生成之类的代理代码任务需要在严格的内存限制下处理长代码库,其中键值 (KV) 缓存成为主要的推理瓶颈。现有的压缩方法完全依赖于注意力信号来估计词元重要性,系统地丢弃结构上关键的词元,例如对于代码理解至关重要的调用站点、分支条件和分配。我们提出了 CodeComp,一个 无需训练 KV 缓存压缩框架,它通过 Joern 提取的代码属性图先验将静态程序分析合并到 LLM 推理中。在错误定位和代码生成基准测试中,CodeComp 在相同内存预算下始终优于仅注意压缩基线,在积极的 KV 缓存压缩下恢复了大部分全上下文准确性,同时匹配未压缩全上下文推理的补丁生成质量,并无缝集成到基于 SGLang 的代理编码管道中,而无需模型修改。