InverFill：一步反转以增强少步扩散修复

最近的基于扩散的模型在图像修复中实现了照片级真实感，但需要许多采样步骤，限制了实际使用。少步文本到图像模型提供了更快的生成速度，但天真地将它们应用于修复会导致背景和修复区域之间的协调性差和伪影。我们将这个原因追溯到随机高斯噪声初始化，在低函数评估下会导致语义错位和保真度降低。为了克服这个问题，我们提出了 InverFill，这是一种专为修复而设计的一步反转方法，它将输入掩模图像中的语义信息注入到初始噪声中，从而实现高保真度的几步修复。 InverFill 不是训练修复模型，而是在混合采样管道中利用几个步骤的文本到图像模型，以语义对齐的噪声作为输入，显着改进普通混合采样，甚至在低 NFE 下匹配专门的修复模型。此外，InverFill 不需要真实图像监督，只增加最小的推理开销。大量实验表明，InverFill 始终如一地增强基线少步模型，提高图像质量和文本连贯性，而无需昂贵的再训练或大量迭代优化。