解析器已经知道：约束解码中的轻量级偏差校正

语法约束解码 (GCD) 通过在每一步屏蔽掉不合格的标记，强制语言模型 (LM) 生成语法上有效的输出。然而，严格的掩蔽会扭曲模型的潜在概率分布，通常会使生成过程偏向有效但次优的输出。虽然在线采样恢复了这种分布，但它需要计算成本高昂的迭代重采样。因此，现有方法迫使输出质量和推理延迟之间进行折衷。我们的主要见解是，在增量解析期间固有地维护的内部解析器和词法分析器状态已经对未来的语法有效性进行了编码——这正是恢复 LM 真实分布所需的信息。我们提出了一种轻量级的、离线训练的 logits 校正，该校正以句法和词汇状态以及候选下一个标记为条件。因为这些状态已经被计算为掩码增量解析的必要部分，所以提取它们所增加的开销可以忽略不计，同时基本 LM 的权重完全不受影响。在多种语法中，这种修正大大缩小了屏蔽分布和 LM 真实分布之间的差距，始终优于屏蔽和在线采样。即使它最轻的变体（仅依赖于候选下一个标记）仍然匹配或超过两个基线：下一个标记本身带有隐式先行，就像解析器通常使用先行标记来解决不明确的决策一样。通过恢复掩蔽移除的概率质量，它可以协调 LM 的概率完整性与语法一致性。