论文
填充我的镜子:几何约束的镜子修复
Fill My Mirror: Geometry-Constrained Mirror Inpainting
摘要
镜子在现实世界的图像中很常见,但使用生成模型产生几何一致的反射仍然具有挑战性。与大多数对象不同,镜子外观取决于场景几何形状和视点,因此很难单独使用学习的外观先验进行合成。我们在镜像修复设置中解决了这个问题,其中场景是固定的并且仅生成镜像区域。我们的主要见解是,许多镜子内容在几何上受到可见场景的限制,不需要产生幻觉。我们估计场景几何形状并将可见内容投影到镜子中以恢复由几何形状确定的反射区域。然后,生成模型通过平衡几何约束与模型学习先验的双掩模扩散策略来完成镜像区域,减少投影伪影并提高反射一致性。该方法为无需训练,适用于复杂的现实场景。我们在 MirrorBench-V2(合成)和真实图像上进行评估。使用标准和几何感知指标,我们表明显式使用场景几何可以提高一致性。