模式关键字作为约束解码下结构化生成中的指令通道

约束解码广泛用于使 大语言模型 生成满足 JSON 等模式的结构化输出。现有的工作主要将模式视为结构约束，忽略了模式键标记也进入自回归上下文并可能指导生成。据我们所知，我们首次对模式键作为约束解码下的隐式指令通道进行系统研究。我们将结构化生成表述为多通道指令问题，其中任务信号可以放置在提示、模式键或两者中。我们进一步提供了一种投影感知分析，该分析给出了在语法投影后保留教学键的不受约束的预期分数优势的充分条件。在 GSM8K 和 Math500 上跨 7 种语言模型进行的实验表明，仅更改模式关键字措辞即可显着影响准确性，对各个模型都有积极和消极的影响。提示级和模式级指令也以非相加方式交互。 GSM8K 上的证据比 Math500 上的证据更加有力。我们的研究结果表明，模式设计不仅仅是输出格式化，而且是结构化生成中指令规范的一部分。