关于存储库级任务的上下文压缩的有效性：实证研究

存储库级代码智能任务需要 大语言模型 (LLM) 来处理长的多文件上下文。此类输入带来了三个挑战：关键上下文可能会被噪声掩盖、由于窗口有限而被截断以及推理延迟增加。上下文压缩通过压缩输入来减轻这些风险。虽然在 NLP 领域进行了研究，但它在代码任务中的适用性在很大程度上仍未得到探索。我们提出了第一个针对存储库级代码智能的上下文压缩的系统实证研究，将八种方法组织成三种范式：离散标记序列、连续潜在向量和视觉标记。我们评估它们的代码完成和生成，衡量性能和效率。结果表明上下文压缩是有效的：在 4 倍压缩下，连续潜在向量方法的 BLEU 分数超过全上下文性能高达 28.3%，这表明它们过滤噪声而不仅仅是截断。在效率上，所有范式都降低了推理成本。基于视觉和文本的压缩都可以在高比率下实现高达 50% 的端到端延迟减少，接近没有存储库上下文的推理成本。这些发现将上下文压缩确立为一种可行的方法，并为范式选择提供指导。