论文
编辑前先查看:注意力引导相机放置和多视图对齐以进行 3D 高斯泼溅编辑
Look Before You Edit: Attention-Guided Camera Placement and Multi-View Alignment for 3D Gaussian Splatting Editing
摘要
使用 3D 高斯泼溅 (3DGS) 的文本驱动 3D 场景编辑通常将 2D 扩散编辑器应用于从固定训练摄像机渲染的视图,从而限制了编辑的空间覆盖范围以及用户在复杂场景中定位特定对象的自由度。我们提出了 LB-Edit,这是一个解决两个耦合问题的框架:在哪里放置编辑摄像机以进行本地化编辑,以及如何使每个视图的编辑彼此一致,以便 3D 场景在 微调 之后保持一致。首先,注意力引导编辑相机放置 (ACP) 探测扩散模型在多个候选相机距离处的自注意力和交叉注意力,以找到关注区域中注意力得到良好控制的位置,然后将紧凑的、几何多样化的编辑相机设置放置在该注意力最佳距离处。其次,多视图注意力对齐 (MAA) 引导编辑器沿两个轴跨视图进行相同的编辑:它通过 词元级 对应共享自注意力特征来对齐外观,并通过将交叉注意力图提升到 3D 高斯作为共享 3D 注意力场来对齐空间位置,从而抑制外观和空间漂移。多对象和单对象场景的实验表明,我们的方法在指令保真度、多视图一致性和编辑局部性方面实现了最高的用户偏好,仅使用 5 个编辑视图,并且比现有方法减少了高达 7 倍的延迟。