通过易处理的提案减轻局部约束解码中的偏差

大语言模型 的生成通常无法符合所需的约束，例如 JSON 模式。现有的局部约束解码 (LCD) 方法通过短视地屏蔽下一个标记来强制实施约束，从而导致采样有偏差和性能下降。最近的工作使用顺序蒙特卡罗（SMC）方法来减轻这种偏差，但设计有效的提案分布或潜在函数仍然是一个关键挑战。在这项工作中，我们提出了一种通用方法，从 $p_{\mathrm{lm}}( \cdot \mid \mathrm{constraint})$ 构建 SMC 采样的建议和潜力。首先，我们展示了指定为有限自动机的约束可以张量化，以便在 GPU 上高效执行，我们用它来构建全局约束解码 (GCD) 建议。此外，利用张量有限自动机与隐马尔可夫模型共享相同电路结构的事实，我们将它们进行电路相乘以获得概率 GCD (P-GCD) 建议，编码有关目标分布的逻辑和概率信息。我们在函数调用、基于关键字的生成和 SQL 生成的任务上评估 (P-)GCD。实验表明，在相同的 SMC 采样设置下，与 LCD 方案相比，(P-)GCD 可以更快地收敛到目标分布，且粒子数量明显减少。