论文

生产任务编排中的即时压缩:预先注册的随机试验

Prompt Compression in Production Task Orchestration: A Pre-Registered Randomized Trial

模型评测模型能力评测

摘要

即时压缩的经济性不仅取决于减少输入词元,还取决于压缩如何改变输出长度,而输出长度的价格通常要高出几倍。我们在预先注册的六臂随机对照试验中评估了这一点,该试验对生产多智能体任务编排进行即时压缩,分析了从 1,199 个真实编排指令的随机语料库中提取的 358 次成功的 Claude Sonnet 4.5 运行(每组 59-61 次)。我们将未压缩控制与三种统一保留率(r=0.8、0.5、0.2)和两种结构感知策略(熵自适应和新近加权)进行比较,测量总推理成本(输入+输出)和基于嵌入的响应相似性。适度压缩 (r=0.5) 使平均总成本降低了 27.9%,而激进压缩 (r=0.2) 使平均成本增加了 1.8%,尽管投入大幅减少,这与平均产出小幅扩张(相对于控制为 1.03 倍)和重尾不确定性一致。新近加权压缩实现了 23.5% 的节省,并且与适度压缩一起占据了经验成本相似性帕累托前沿,而激进压缩则在成本和相似性方面占主导地位。这些结果表明,“压缩更多”并不是可靠的生产启发式方法,并且在设计压缩策略时必须将输出词元视为一流的结果。