喝杯咖啡：具有编译目标的离散扩散的未来感知指南

离散扩散模型通过并行迭代地解析多个标记来生成序列，为从左到右的生成提供了灵活的替代方案。然而，用序列级目标来指导这一过程是很困难的，因为一个未解决的词元的价值取决于它可以形成高奖励序列的其他词元。枚举所有此类完成使得整个引导计算随着未解决位置的数量呈指数增长。我们引入了 COFFEE，这是一个即插即用的框架，它通过将序列依赖性与目标分离来避免这种枚举。在每个扩散步骤中，无目标载体吸收降噪器预测的边际标记分布，以在未解析的标记上构建联合模型，而编译的有限状态模型记录它们的组合如何影响序列级偏好。将它们的状态配对允许 COFFEE 将全局偏好转移到未解决的位置并采样干净的重建，而无需重新训练扩散模型。相同的框架支持明确的硬约束和学习的软目标。我们通过多个符号、语言和生物基准评估 COFFEE，它通过任务依赖的质量和多样性权衡实现了强大的控制结果。通过使目标可用于推理而不仅仅是评估，COFFEE 将联合调节、完成加权指导和基于优化的约束引入预训练的神经生成中，展示了神经符号方法在扩散指导中的潜力。