GeM-NR：用于非刚性场景变化的几何感知多视图编辑

使用生成模型进行多视图图像编辑的最新发展使我们离通用 3D 内容生成和定制又近了一步。大多数现有作品都侧重于利用未编辑场景的几何形状进行严格或仅外观的编辑。这自然限制了这些方法只能进行保留底层场景结构的编辑。当前的非刚性方法仅限于对象删除和插入，反映了它们所训练的数据。一般的非刚性编辑，即实质上任意改变场景几何形状的编辑，对于现有方法仍然具有挑战性。我们提出了 GeM-NR，一种快速灵活的 无需训练 方法，用于一般多视图一致图像编辑，包括彻底改变场景的几何形状和外观的编辑。给定使用所选 2D 编辑器编辑的锚图像和未编辑的查询图像，GeM-NR 会与锚编辑一致地编辑查询图像。该方法包含多个阶段：(i) 深度图估计，我们提出了一种策略来最大化已编辑和未编辑场景的 3D 点云之间的对齐，(ii) 投影到查询视点上，以及 (iii) 根据未编辑查询对所获得的图像进行细化。我们展示了我们的方法处理几何形状和外观发生重大变化的编辑的能力，这是现有方法难以解决的问题。我们进行的广泛评估表明，GeM-NR 提高了各种编辑任务的一致性，包括生成编辑场景的 3D 表示。定量和定性结果都表明我们的方法在编辑质量以及跨多个视图的几何和光度一致性方面具有最先进的性能。