论文

除法去噪:公平构建扩散模型的博弈论方法

Divide-and-Denoise: A Game-Theoretic Method for Fairly Composing Diffusion Models

模型推理解码与生成控制

摘要

大量的预训练扩散模型为合成提供了机会。然而,组合多个模型存在一种模型占主导地位或模型彼此不一致的风险。在这里,我们提出了 Divide-and-Denoise,一种在采样过程中协调多个预训练扩散模型的方法。就像管理专业劳动力一样,我们的方法在不同模型之间创建了公平但高效的劳动分工。我们方法的核心是分配的概念,它定义了每个模型对噪声样本的每个区域的责任。然后,在每个时间步长,我们通过以下方式进行去噪:(i)通过解决公平划分游戏来更新分配,其中我们将样本划分为在公平约束下最大化总效用的区域,以及(ii)将模型与此分配对齐,其中我们指导每个模型在其分配的区域内进行去噪。这导致了一种与除法过程同步发展的新的复合去噪过程。我们评估条件图像生成的除法和去噪。在包括 GenEval 基准在内的多个质量指标中,我们的方法优于基线并解决了常见故障,包括丢失对象和不匹配的属性。实验表明,除法降噪利用了每个模型的专业知识,而没有忽略任何其他模型。