约束离散扩散的原始对偶引导解码

离散扩散模型通过逐步揭开词元来生成结构化序列，但在生成过程中强制执行全局属性约束仍然是一个开放的挑战。我们提出了原始对偶引导解码，这是一种推理时间方法，它将约束生成表示为 KL 正则化优化问题，并通过自适应拉格朗日乘子在线求解。在每个去噪步骤中，该方法通过附加的、依赖于约束的偏差来修改标记 logits，并通过基于约束违反的镜像下降来更新乘数。偏差作为约束的最佳 KL 正则化投影而出现，因此受约束分布尽可能接近模型的无约束分布，同时仍然满足约束。该方法不需要重新训练，也不需要标准抽样之外的额外模型评估，支持多个同时约束，并提供约束违反的正式界限。我们评估了我们在主题文本生成、分子设计和音乐播放列表生成方面的方法，表明通过特定领域的评分函数实例化的单个算法可以提高约束满意度，同时保留相关的特定领域质量指标。