减少词元不等于降低成本

编码Agent的词元压缩工具常按减少的词元数量评价，但词元数量并不单独决定端到端推理成本。本文在受控编码任务上，以未经修改的Claude Code为基线，比较三种压缩方法，测量服务商计费成本、任务成功率、缓存流量及Agent行为。最强压缩设置将工具输出词元减少38.4%，却使计费成本增加6.8%；较轻压缩仅带来小幅且统计上不确定的节省。任务之间，词元减少与成本降低的相关性很弱，Pearson r=0.15。 成本分解表明，提示缓存的创建与读取占所测输入侧成本的大部分，工具输出压缩能直接影响的总支出比例有限。压缩还可能引发额外检索、诊断、测试和交互轮次，从而改变执行轨迹，抵消局部词元节省。在SWE-bench的Go子集上，激进压缩也降低了成功应用补丁的比例。作者据此指出，工具密集型编码Agent中，词元减少不能可靠代表成本降低；应按每个成功任务的成本，综合缓存行为、轨迹变化和正确性评估优化。