论文

基于扩散的多功能内容生成的加速似然最大化

Accelerated Likelihood Maximization for Diffusion-based Versatile Content Generation

模型推理解码与生成控制

摘要

从部分给定的输入中生成多样化、连贯且可信的内容仍然是扩散模型的基本挑战。现有的方法面临着明显的局限性:基于训练的方法提供了强大的特定于任务的结果,但需要昂贵的计算,并且它们跨任务的泛化性很差。 无需训练 方法提供了更高的效率,但它们没有显式优化未观察到的变量,从而导致全局不一致的结果。为了解决这些限制,我们引入了加速似然最大化(ALM),这是一种集成到反向扩散过程中的新颖的 无需训练 采样策略,可显着扩展扩散模型的适用性,超越简单的生成任务。与之前通过预先生成的区域约束隐式影响缺失区域的方法不同,我们在采样过程中直接优化未观察到的区域,从而实现全局一致且合理的生成。此外,我们采用了一种加速策略,可以在不牺牲性能的情况下显着提高计算效率。实验结果表明,ALM 在各种数据域和任务中始终优于最先进的方法,为多功能内容生成建立了强大的范例。