论文
ObjectMorpher:通过可变形 3DGS 模型进行 3D 感知图像编辑
ObjectMorpher: 3D-Aware Image Editing via Deformable 3DGS Models
摘要
在图像编辑中实现精确的对象级控制仍然具有挑战性:2D 方法缺乏 3D 感知,常常会产生模糊或难以置信的结果,而现有的 3D 感知方法依赖于大量优化或不完整的单目重建。我们推出了 ObjectMorpher,这是一个统一的交互式框架,可将模糊的 2D 编辑转换为基于几何的操作。 ObjectMorpher 使用图像转 3D 生成器将目标实例提升为可编辑的 3D 高斯分布 (3DGS),从而实现快速、身份保留的操作。用户拖动控制点;具有尽可能刚性(ARAP)约束的基于图形的非刚性变形可确保物理上合理的形状和姿势变化。复合漫射模块协调照明、颜色和边界,实现无缝重新整合。在不同的类别中,ObjectMorpher 提供精细、逼真的编辑,具有卓越的可控性和效率,在 KID、LPIPS、SIFID 和用户偏好方面优于 2D 拖动和 3D 感知基线。