通过信赖域迭代扭曲序列蒙特卡罗进行扩散模型的推理时间对齐

我们研究基于扩散的生成模型的推理时间对齐，旨在引导基本模型获得高回报输出而不更新其权重。最近基于顺序蒙特卡罗（SMC）的转向方法以原则性的方式近似奖励倾斜的目标分布，但他们的建议仍然在很大程度上与基础采样器相关。由于奖励信息主要在通过粒子重新加权和重新采样传播后使用，因此这些方法可能需要大量粒子预算，并遭受权重简并和高方差估计。减少方差和提高粒子效率的一种方法是迭代学习提供前瞻指导的扭曲函数，如扭曲 SMC 中的那样。然而，现有的可学习扭曲方法主要是为经典顺序推理而开发的，当应用于具有高维状态空间和终端、噪声或黑盒奖励的基于扩散的对齐时，可能会不稳定。我们提出信任区域迭代扭曲序列蒙特卡罗 (TRI-TSMC)，这是一种信任区域框架，用于学习基于 SMC 的推理时间对齐中的扭曲函数。每次迭代都会计算路径空间中精确的 KL 约束更新，这通过调节重要性重新加权来承认封闭形式的解决方案，并通过加权最大似然将该目标投影回参数化扭曲族。从理论上讲，我们形式化了最佳扭曲函数的值函数解释，并表明它产生了零方差采样器。我们证明信任区域更新遵循通往目标分布的护送路径，加权最大似然更新是前向 KL 投影，并且该路径减少了剩余重要性权重方差。根据经验，TRI-TSMC 在匹配的推理时间预算下改进了离散扩散文本生成和文本到图像生成的主要对齐目标。