论文
GeoEdit:通过双分支降噪进行几何感知对象编辑
GeoEdit: Geometry-Aware Object Editing via Dual-Branch Denoising
摘要
对于基于扩散的编辑器来说,在遵守 3D 物理约束的同时精确操作单张照片中的对象(平移、旋转、缩放)仍然是一个悬而未决的问题。当前的 2D 方法缺乏空间意识并会产生透视违规。迫使结构代理进入潜在空间也会破坏方差同质性,由此产生的自注意力泄漏会导致重影和背景模糊。核心困难是不对称的:重新定位的对象必须遵循严格的几何形状,而未覆盖的背景需要自由地合成合理的内容。我们提出了 GeoEdit,一个满足这两个约束的 无需训练 Lift-Manipulate-Render-Denoise 管道。我们在 3D 中解耦场景和对象,通过点对应对齐它们,并使用结构深度图渲染几何对齐的代理。然后,双分支去噪阶段完善了该代理:视频扩散主干保留了对象身份,而 3D 约束则以匹配噪声方差(方差同质注入)的方式注入窄去噪窗口内的前景。背景自由降噪。由于注入的信号与本机潜在统计数据相匹配,因此自注意力不会受到干扰。我们还推出了 GeoEditBench,这是一个姿势感知基准,涵盖对象平移、对象旋转和相机移动以及姿势感知评估指标。实验证实了几何精度、身份保真度和背景质量的持续增益。我们的代码可在 https://github.com/Heey731/GeoEdit 获取。