论文

DICT:通过数据注入与轨迹对比改进条件图像生成

DICT: Data Injection and Contrastive Trajectory Refinement for Conditional Image Generation with Diffusion Models

模型推理解码与生成控制

摘要

扩散模型已成为条件图像生成的主导范例,但现有方法通常遵循两个方向:特定于任务的设计,可以提高性能但限制泛化,以及 无需训练 损失指导,将丰富的条件压缩为标量目标并应用逐步指导,导致沿采样轨迹的信息瓶颈和误差累积。鉴于迫切需要跨不同条件图像生成任务的有效统一框架,我们提出了数据注入和对比轨迹细化(DICT),这是一种 无需训练 推理方法,可以在不引入任务相关架构的情况下增强条件图像生成。 DICT 引入了数据注入,将受噪声扰动的条件信号集成到早期降噪阶段;通过对这些注入信号进行引导降噪,DICT 从原始条件中自适应地选择和提取任务显着信息,有效保留空间丰富性并确保条件与生成的精确匹配。此外,DICT 在相邻的去噪状态中应用对比轨迹细化,从而实现成对比较,从而逐步提高样本质量。这些设计保持推理简单,同时在统一扩散公式下改进跨任务传输。对条件图像生成任务(例如风格迁移、图像超分辨率和图像去模糊)的广泛实验表明,与代表性任务特定和损失引导基线相比,保真度和感知质量得到了一致的提高。