嵌套序贯蒙特卡罗控制离散扩散模型生成

我们研究离散扩散语言模型中文本生成的推理时间控制，其目标是在不重新训练的情况下将采样引导至序列级奖励。该领域之前的工作主要集中在基于粒子的方法，例如 best-of-n$ 采样和引导顺序蒙特卡罗，这些方法可能分别遭受过度乐观和权重简并的影响。我们使用 \emph{nested} 顺序蒙特卡罗方法解决这些限制。我们为 Feynman-Kac 转向制定了嵌套 SMC (NSMC) 和完全适应的嵌套 SMC (FA-NSMC)，识别并纠正先前公式中导致最终估计有偏差的错误。我们在毒性和流畅性指导任务上评估了这些方法，结果表明 NSMC 和 FA-NSMC 始终优于 best-of-$n$ 和 bootstrap SMC。