协议压缩改变了支付方：跨组织中的双边成本 LLM 代理通信

跨组织通信的代理交换按词元计费的长消息。因此，较短的符号看起来像是一种节省，只需同意使用它即可。最近的工作报告称，节省是有条件的。当解析失败迫使额外的模型调用时，压缩符号可以使总标记比 JSON 基线提高 8% 到 11%。这是针对一个付款人衡量的。在两个组织之间，任何一方都不能在另一端安装解码器，并且每个组织都根据自己的标记器、价格和缓存状态进行支付。我们测量两侧。一项预先注册的 词元级 研究涵盖了 6 个供应商的 198 个内容匹配的项目对，以及 2,376 个本机使用单元。然后，我们在两方采购协议上覆盖英语基线、运行时模式协商、压缩和注入模式压缩，并使用精确枚举的可行集。该叠加覆盖了 3 个模型对的 1,215 个单元网格的 1,053 个已完成对话，以及协商条件的 405 个对话重新运行。压缩将跨供应商成本分散放大了 1.078 倍，95% CI 为 [1.066, 1.091]，并且两个供应商对颠倒了哪个端点更便宜。运行时协商作为协议成功，作为讨价还价失败。双方在 135 段标题对话中的 121 段中达成了一致，但没有一个是我们本来可以提供的模式。他们仅在其中 9 场对话中解决了任务，并在 106 场对话中陷入了僵局。协商会话平均为 10.8 次，而平均为 17.6 次，费用占英语总费用的 52%，因为会话结束得较早，而不是因为握手得到偿还。盈亏平衡范围从 20 到 70 回合不等，仅在有条件会计下才达到最低水平，而且所有这些都高于每个观察到的英语会话。在一对跨供应商上，双方都保留了大约一半的成本。另一方面，接收方以高缓存命中率支付更多费用。