论文

EditSSC:使用无条件扩散模型实现可编辑语义占用场景

EditSSC: Toward Editable Semantic Occupancy Scenes with Unconditional Diffusion Models

应用与实践内容创作

摘要

3D 语义场景生成对于自动驾驶应用至关重要,但大多数方法依赖于复杂的 3D 特定架构,例如三平面编码器和自适应扩散网络,限制了它们的简单性和编辑能力。我们提出了 EditSSC,这是一种使用 2D 鸟瞰图 (BEV) 表示和现成的潜在扩散网络来生成 3D 语义场景的编辑就绪方法。我们的方法将 3D 语义占用网格重塑为多通道 BEV 图像,并利用稳定扩散的量化自动编码器和 UNet,只需进行最少的修改。我们对量化后的潜在变量进行扩散,从而实现 无需训练 编辑功能。通过利用代码本中的类到代码的对应关系,我们的方法支持草图引导的生成、修复和修复,而无需任何重新训练。在 SemanticKITTI 上,EditSSC 在无条件生成方面优于现有的 3D 特定基线,这表明成熟的 2D 架构可以有效地重新用于 3D 场景生成和编辑。