无需训练 使用冻结文本到图像扩散模型进行跨域修复

我们证明，冻结的通用文本到图像扩散模型可以使用一种固定的控制器配置跨三个评估的自然图像域执行条件修复，而无需修复特定的权重训练、数据集特定的权重适应或学习修复特定的条件通道。 Step-PI 通过边界内部潜在反馈、持续 PI 状态以及沿反向轨迹调制控制器信号的预定义四场释放时间表来增强已知区域投影。仅在 Main35 不相交的 CelebA-HQ 飞行员上开发，控制器不变地传输到 AFHQ 和 Places2。在相同 3,500 个案例的两次现场相同比较中，添加持久状态并用预定义的时间表替换统一发布，每个都改进了所有 15 个数据集指标单元；在两次比较中，95% 的引导间隔均排除所有五个指标的零。在描述性本机路由比较中，Step-PI 在所有五个相等数据集宏指标上领先于 LanPaint 和 PILOT（使用普通 SD1.5 评估的最接近的 无需训练 基线）。经过修复训练的系统保留了绝对的公制领先优势，但依赖于大量针对修复的离线优化。我们的方法提供了一种补充方法，用于通过测试时潜在控制重新利用冻结的通用文本到图像模型进行跨域修复。