格式税

要求 大语言模型 以 JSON 进行响应应该是一种格式选择，而不是一种能力税。然而，我们发现结构化输出要求——JSON、XML、LaTeX、Markdown——大大降低了开放权重模型的推理和编写性能。研究响应主要集中在受限解码上，但采样偏差仅占退化的一小部分。主要成本在提示时输入：在应用任何解码器约束之前，格式请求指令本身会导致大部分精度损失。这一诊断指出了一个简单的原则：将推理与格式化脱钩。无论是通过首先生成自由形式并在第二次重新格式化，还是通过在单代中启用扩展思维，将这两个问题分开可以大大恢复损失的准确性。在六个开放权重模型、四个 API 模型、四种格式以及涵盖数学、科学、逻辑和写作的任务中，解耦恢复了大部分损失的准确性。值得注意的是，大多数最近的封闭权重模型几乎没有显示格式税，这表明问题不是结构化生成所固有的，而是当前开放权重模型尚未弥合的差距。代码可在 https://github.com/ivnle/the-format-tax 获取。