WarpI2I：用于图像到图像转换的图像变形

图像到图像 (I2I) 转换在人类重新照明和使用潜在扩散模型 (LDM) 的驾驶场景转换等任务中取得了出色的成果。然而，紧凑的 LDM 通常很难保留细粒度的结构，因为编码器将高分辨率输入压缩到空间下采样的潜在空间中。为了解决这个问题，我们提出了一个简单的显着性引导扭曲-反扭曲框架，该框架在编码之前将空间表示重新分配给显着区域，从而能够在不增加潜在分辨率的情况下更好地保留结构细节。扭曲的图像由原始扩散模型处理，然后通过逆扭曲映射回来。此外，我们提出了一种简单高效的基于outpainting的合成数据生成管道，以生成用于图像重新照明的高质量配对数据。我们的方法与模型无关，不需要架构修改，并且引入的计算开销可以忽略不计。人体重新照明、驾驶场景重新照明和翻译的实验证明了结构保留、照明 忠实性 和图像质量的改进，我们的框架通过逐帧应用自然扩展到视频，具有良好的时间稳定性。项目网页：https://shenzheng2000.github.io/WarpI2I.github.io