通过摊销基于样本的变分推理来对齐少步生成模型

对齐几个步骤的生成模型具有挑战性，因为现有的对齐框架通常依赖于限制性假设：易于处理的可能性、特定的 ODE/SDE 求解器或特定的模型系列。我们介绍 FAV（通过基于样本的变分推理进行的少步生成模型对齐），这是一种通用对齐框架，仅需要对生成器和参考分布进行样本访问。我们将对齐视为从锚定到参考分布的奖励倾斜分布中进行采样。我们利用 Stein 变分梯度下降作为基于样本的变分推理方案，并通过定点回归将其粒子更新摊销到生成器参数中。我们在两个领域评估 FAV：机器人操作和图像生成器对齐。在机器人操作的生成策略调整方面，FAV 在 56 个离线和 30 个离线到在线 RL 任务中优于主流策略提取基线。对于图像生成器对齐，FAV 微调了不同的几个步骤主干，包括 GAN、漂移模型、一致性模型和流图，从 ImageNet-$256$ 扩展到 1024$^2$ 文本到图像合成。代码可在 https://github.com/Jaewoopudding/FAV 获取。