超越体素 3D 编辑：从 3D 掩模和自行构建的数据中学习

3D 编辑是指对 3D 资源应用局部或全局修改的能力。有效的 3D 编辑需要通过根据提示执行局部更改来保持语义一致性，同时还保持局部不变性，以便未更改的区域与原始区域保持一致。然而，现有方法具有显着的局限性：多视图编辑方法在投影回 3D 时会产生损失，而基于体素的编辑在可修改的区域和修改的规模方面都受到限制。此外，缺乏足够大的编辑数据集用于训练和评估仍然是一个挑战。为了应对这些挑战，我们提出了一个 Beyond Voxel 3D Editing (BVE) 框架，该框架具有专门为 3D 编辑定制的自建大型数据集。在此数据集的基础上，我们的模型通过轻量级、可训练的模块增强了基础图像到 3D 生成架构，从而能够高效注入文本语义，而无需昂贵的全模型再训练。此外，我们引入了一种无注释的 3D 掩蔽策略来保持局部不变性，从而在编辑过程中保持未更改区域的完整性。大量实验表明，BVE 在生成高质量、文本对齐的 3D 资源方面实现了卓越的性能，同时忠实地保留了原始输入的视觉特征。