NCO：用于处理解码中的负约束的多功能插件

控制 大语言模型 (LLM) 以防止生成不良内容（例如脏话和个人身份信息 (PII)）已变得越来越重要。虽然早期的方法依赖于后处理或重采样，但最近的研究已转向约束解码方法，这些方法在生成过程中控制输出，以减轻高计算成本和质量下降。然而，防止多个禁止的硬约束或正则表达式约束出现在输出中的任何位置在计算上具有挑战性。一个简单的解决方案是将这些约束转换为单个自动机，该自动机在解码期间跟踪所有禁止的模式，但这通常会变得大得不切实际。标准正则表达式引擎也不容易支持构建此类约束所需的操作，例如补码和交集。为了解决这些限制，我们提出了 NCO，这是一种解码策略，可以在有限的硬约束和正则表达式约束上执行在线模式匹配，从而减少计算开销而不引起状态爆炸。 NCO 与标准推理策略完全兼容，包括各种采样方法和波束搜索，同时还支持用于概率抑制的软掩蔽。我们凭经验证明了其在实际任务中的有效性，包括 PII 和脏话抑制。我们的实现可以在 https://github.com/hyundong98/NCO-Decoding.git 上找到。