分解代价：LLM流水线在自身接口损失多达40个百分点准确率
The Decomposition Tax: LLM Pipelines Lose Up to 40 Accuracy Points at Their Own Interfaces
摘要
四阶段 LLM 管道在其自身接口处放弃了多达 40.5 个精度点（MATH-500 上的 gemma-3-12B，Holm 校正 p = 1.66e-19；主要系列中最大的税收）。我们保持模型、问题、阶段、阶段提示和完成预算固定，仅改变每个阶段是否仍能看到原始问题，并将精度差异称为分解税。在来自 9 个组织的 21 个开放权重模型中，在 GSM-Hard 和 MATH-500 上，每个单元 n = 200 个配对项目，118 个主要家庭测试中的 70 个通过了 Benjamini-Hochberg 校正，54 个通过了 Holm。在 GSM-Hard 上，安慰剂无法恢复任何结果：它携带至少 60% 的额外标记以及最多问题的一个单词。建筑商一次设计一个阶段的管道，其账单到达阶段之间的接口。重写一个阶段的指令将 gemma-3-12B 的税收从 4.5 点移动到 36.5 点，并将“它们之间规定的每一个关系”添加到列出数字数量的阶段，降低了 MATH-500 9 个模型中 9 个模型的税收。重新grounding，即再次显示原始问题的一个阶段，属于丢失之后的情况。在两个基准测试中，使用一个有损接口时，在 7 个模型中的 7 个模型中，在它之后重新grounding该阶段要优于重新grounding之前的阶段；在 MATH-500 上，早期修复比 7 中的 7 中没有修复还要糟糕。较新的型号仍然值得：gemma-4-12B 放弃 37.0 分，并且修复适用于我们测试的所有三个最新型号。密封保留测试驳斥了我们注册的更强规则，该规则根据接口和接收器类型预测支付阶段，因此我们通过一次测量一个阶段来定位税收。该处方有两个部分：在有损接口之后重新grounding平台，如果平台必须列出数量，请告诉它保留关系。