论文

扩散同步的变分测试时间优化

Variational Test-time Optimization for Diffusion Synchronization

模型推理解码与生成控制

摘要

协作生成协调多个扩散轨迹以扩展预训练先验的能力,已成为扩展扩散模型适用性的强大范例。在现有方法中,扩散同步通过引入通用指导机制提供了一种与场景无关的解决方案。然而,当前的同步方法严重依赖启发式方法,并且仍然需要针对特定​​任务的定制,这限制了它们的通用性和性能。在这项工作中,我们从数学上推导了基于最优控制的同步框架,为扩散同步提供了原理性解释。在采样过程中,我们优化控制变量以引导多个轨迹获得一致的解决方案,同时保持接近底层扩散先验。我们的方法完全在测试时运行,无需额外训练,从而在与强大的预训练先验相结合时,可以在不同的生成场景中广泛适用。我们在三个代表性的协作生成任务上展示了相对于基线的持续改进,涵盖了广泛的模式和应用。除了性能提升之外,我们的工作还为协作生成奠定了新颖的基础,为将预训练生成模型扩展到新的协作生成设置开辟了一条原则性路径。