论文
现实世界图像重建和操作中高保真扩散反演的潜在偏差对齐
Latent Bias Alignment for High-Fidelity Diffusion Inversion in Real-World Image Reconstruction and Manipulation
摘要
最近的研究表明，文本到图像的扩散模型能够在文本提示的引导下生成高质量的图像。但它们可以用来从种子噪声生成或近似真实世界的图像吗？这称为扩散反演问题，它是连接扩散模型和现实场景的基本构建块。然而，现有的扩散反演方法往往存在重建质量低或鲁棒性弱的问题。需要仔细解决两个主要挑战：（1）扩散过程中反演和生成轨迹之间的不对准，以及（2）扩散反演过程和VQ自动编码器（VQAE）重建之间的不匹配。为了解决这些挑战，我们在每个反演步骤中引入了一个潜在偏差向量，该向量被学习以减少反演和生成轨迹之间的偏差。我们将此策略称为潜在偏差优化 (LBO)。此外，我们通过学习调整图像潜在表示（作为它们之间的连接接口）来对扩散反演和 VQAE 重建过程进行近似联合优化。我们将此技术称为图像潜在增强 (ILB)。大量的实验结果表明，所提出的方法显着提高了扩散模型的图像重建质量，以及下游任务的性能，包括图像编辑和稀有概念生成。