结构税：结构性产出如何影响LLM的表现

在生产中部署大型语言模型通常需要将输出限制为结构化格式（例如 JSON 或 XML），并且先前的工作将由此产生的准确性损失视为固有的“结构税”。我们通过评估一系列模型、数据集和模式、测量任务准确性、置信度校准和隐藏状态几何来重新检验这一说法。事实证明，税收取决于模式设计而不是结构本身：推理优先的字段排序匹配或超过自由形式的准确性，而答案优先的排序会导致急剧下降，特别是在较小的模型中。格式敏感性与任务自身的结构约束成反比，并且保留推理顺序的模式还可以改进 CKA 的校准，显示中间Transformer层中正确和不正确表示之间的更大可分离性。我们的研究结果表明，正确设计的结构化格式可以匹配或超过自由格式的性能，将关键问题从“是否结构化”重新定义为“如何结构化”，以实现最佳推理保存。