AgSpec：突破编码Agent管道中基于检索的推测解码的极限

基于检索的推测解码 (SD) 通过复制现有文本的延续来起草标记，这适合重复再现代码、日志和早期尝试的编码Agent。然而，现有的方法在Agent管道中存在不足：许多可重用文本在其语料库中丢失，或者以与Agent发出的形式不同的形式存储，并且它们的草稿长度忽略了接受长度在Agent之间变化以及轮流漂移。我们提出了 AgSpec，这是一个框架，它提供了现有检索引擎在编码Agent管道中所缺乏的语料库和草稿长度策略。 AgSpec 从会话、工作区和全局语料库中检索，保留正在进行的会话轨迹并以Agent的发射格式索引打开的文件。它通过离线配置的上限来限制每个Agent的草稿长度，并根据验证反馈在线调整长度。在两个存储库级多智能体编码基准测试中，AgSpec 在大多数评估设置中优于 5 个基于检索的绘图器和 EAGLE-3，将自回归解码的生成吞吐量在批量大小 1 时提高到 4.37$\times$，在批量大小 16 时提高到 4.76$\times$。AgSpec 在没有存储库或多智能体管道的基准测试中仍然有效，这表明它的收益可以推广到编码智能体广泛地说。