通过重新聚焦交叉注意力的免调整扩散模型实现 360 度室内全景编辑

零样本文本引导扩散显着改进了图像编辑；然而，它的实际可用性仍然受到三个持续挑战的限制：需要细致的即时工程的即时脆弱性、无意中影响非目标区域的溢出编辑，以及训练数据中有限的细粒度监督导致的小或杂乱对象的失败。我们提出了 FocusDiff（用于免调整扩散编辑的目标感知重新聚焦），这是一种基于重新聚焦交叉注意力的精确和特定区域图像操作的免调整框架。给定通过自动分割或手动选择获得的目标区域，FocusDiff 对非编辑区域应用选择性模糊，以引导人们对屏蔽区域的注意力，同时准确地将对象的身份、结构和外观转移到编辑的输出。集成的上下文保留模块进一步确保背景保真度和全局一致性，从而可以通过简单的文本提示一次性进行准确编辑。我们还将 FocusDiff 扩展到 360 度室内全景编辑，并在虚拟现实环境中展示其有效性。对我们的本地化编辑基准 LIMB 进行的大量实验（包括 30 个多对象图像和 100 个带注释的示例（包括具有挑战性的小对象案例））表明，FocusDiff 在文本图像对齐和背景保留方面优于现有的零镜头编辑器，实现了卓越的精度、真实感和可用性。该项目页面位于 https://vdkhoi20.github.io/FocusDiff。