论文

Paritok-4B:面向编码智能体的意图条件上下文压缩

Paritok-4B: Intent-Conditioned Context Compression for Coding Agents

上下文与知识上下文工程

摘要

编码智能体每一轮都要向前沿LLM重发大段文件读取和工具输出,这些上下文主导了其token账单。通用提示压缩器在散文上训练,不适合代码:它们会改写标识符、丢掉智能体需要编辑的精确片段。我们提出Paritok-4B,一个面向编码智能体轨迹的4B LoRA压缩器,建立在两项承诺之上。它是抽取式的:选择片段而非改写,其输出的标识符、路径和数字有96.0%已出现在其输入中,在留出的SWE-bench Lite输出上保持96.2%。它是意图条件的:在被告知智能体当前任务后,它主要在保留片段内部行动,选择哪些行存留(保留行比被移除行的意图相关性高0.067,配对95% CI [+0.056, +0.078]),而非改变保留量。我们在67,074条真实OpenHands轨迹上蒸馏gpt-4.1-mini教师,得到40,606条经验证样本,并微调Qwen3-4B。在全部300个SWE-bench Lite实例上,Paritok-4B将智能体上下文压缩至其大小的25.7%,压缩强度为gpt-4.1-mini压缩器(50.2%)的2.0倍、gpt-5(61.9%)的2.4倍,同时保留86.5%的未压缩单次求解质量。对于真实智能体产生的cat -n行号输入,它压缩得略少(27.8%)且保留更多(89.3%);此时配对检验是有信息量的:30个实例仅未压缩可解、17个仅压缩后可解,精确McNemar p=0.079,因此在该样本量下,将上下文压缩到大约四分之一并不会显著降低求解率。该模型是一个264 MB的适配器,可在单张24 GB GPU上自托管,且无每token压缩器费用,这在标价下决定了经济性:用gpt-5当压缩器是净负收益,其成本超过其节省的下游token。权重、数据和评估脚本均已开放(Apache 2.0)。