论文
保持边界:通过距离引导解码保证符合上下文无关语法
Stay Within Your Bounds: Distance-Guided Decoding for Guaranteed Context-Free Grammar Compliance
摘要
语法约束解码有助于大语言模型生成语法有效的结构化输出,例如代码、JSON 和 SQL。对于上下文无关语法,许多实用的解码器强制执行本地前缀可行性:每个token必须保持当前前缀可扩展为某种有效的完成。然而,在标记器语法不匹配和有限的标记预算的情况下,可行的前缀可能仍然无法被接受。我们提出了一种基于下推自动机的上下文无关语法的前瞻引导解码框架。离线时,我们使用可达性标签和接受的上限距离来计算有界下推摘要。在网上,这些估计指导水平感知修剪和波束搜索。生成的解码器在语法上是合理的:每个输出都被目标语法接受。 JSON、SQL 和线性时态逻辑 (LTL) 的实验表明,与现有基线相比,语法有效性一致,并且完成质量有所提高。