空间自适应噪声注入

扩散采样器使用随机 (DDPM) 或确定性 (DDIM) 更新来反转学习的噪声过程，这些更新表示由标量噪声注入方差控制的单个族的端点，该方差在每个空间位置都相同地应用。这种统一方法忽略了自然图像的几何形状：高曲率区域（例如边缘和纹理），其中降噪器不确定，受益于随机校正，而平滑区域（得分精确）会因注入噪声而降级。这项工作研究了每个像素是否需要在给定时间步长进行随机校正，并引入了空间自适应噪声注入（SANI），这是一种新颖的采样框架，可以在每个像素的基础上动态调整噪声应用。 SANI 将概率门控机制与派生的空间自适应方差集成在一起，确保在需要细化复杂特征的地方精确地注入噪声，同时保留良好的结构。实验结果和解耦消融表明，SANI 在不同的采样时间步上相对于普通 DDPM 和 DDIM 端点采样器持续改进了 Fréchet 起始距离 (FID)，同时保持与方差学习基线的竞争力，突出了扩散采样中空间自适应性的重要性。