论文

View Matters:按关键视图可靠性引导文本驱动的 3D 高斯编辑

View Matters: Keyframe-Guided Text-Driven 3D Gaussian Editing

应用与实践内容创作

摘要

文本驱动的 3D 高斯编辑通常不区分渲染视图的编辑可靠性,尽管不同的视点提供了显着不同的质量监督。清晰显示场景并与编辑指令相匹配的视图可提供可靠的指导,而当所有视图均等对待时,信息量较少的视图可能会削弱编辑效果。我们提出了 View Matters,这是一个视图重要性感知框架,可以围绕可靠的关键帧进行编辑。关键帧重要性估计 (KIE) 使用几何可见性、语义独特性和编辑相关性来识别可靠的视图。然后,关键帧引导编辑 (KGE) 将其编辑信号不对称地传播到非关键帧,而不会产生噪声反向影响,而重要性感知优化 (IAO) 在 3DGS 优化期间保留这种可靠性偏好。在 23 个场景提示对中,View Matters 在所评估的方法中实现了最高的平均 CLIP 文本图像相似度 0.2822 和方向相似度 0.2564,编辑时间为四分钟。附加的相邻视图分析表明,以保真度为导向的编辑过程保持了跨视图的一致性。

View Matters:按关键视图可靠性引导文本驱动的 3D 高斯编辑:论文原图
图 1:视图问题概述。给定 3DGS 场景和编辑指令,KIE 估计视图可靠性并选择代表性关键帧。 KGE 让这些关键帧建立共享上下文,并非对称地引导不太可靠的非关键帧,而不会产生反向干扰。然后,IAO 通过在 3DGS 优化期间为关键帧分配更强的监督来保留可靠性层次结构。生成的场景忠实地遵循所请求的编辑,同时保持跨视图连贯性。