论文
用于高效生成模型对齐的流形约束初始噪声优化
Manifold-Constrained Initial Noise Optimization for Efficient Generative Model Alignment
摘要
蒸馏和流图模型的最新进展已经实现了高质量数据的确定性一步或几步生成，促进了奖励对齐方法的新分支，直接优化高斯分布的初始噪声。然而，现有的大多数初始噪声优化方法依赖于一阶梯度信息，这在黑盒奖励场景中要么不适用，要么不稳定且效率低下。在这里，我们介绍 ZeNOVA，一种稳定、高效的无梯度初始噪声对齐方法。具体来说，我们通过退火软值引导、流形约束超球面朗之万动力学和 Metropolis-Hastings 跳跃来解决现有算法在黑盒场景中的主要挑战。对图像和视频生成模型的大量实验表明，ZeNOVA 通过在利用高斯先验的几何形状的同时更稳定地优化初始噪声以实现更高的奖励，从而优于所有评估的零阶基线，证明了其对各种黑盒奖励对齐的实际适用性。