VoxLution：以多分辨率稀疏体素序列细化三维室内场景

摘要

高分辨率 3D 室内场景生成对于虚拟现实、空间计算和机器人模拟等沉浸式应用至关重要。我们引入了 VoxLution，这是一种基于 transformer 的从粗到细的方法，可以生成具有丰富细节的高保真室内场景，克服了现有生成模型典型的过于平滑的几何形状。首先，我们生成一个低分辨率的空间布局；然后，根据这些结构信息，我们逐步在局部分块细化场景几何形状。我们方法的关键是将3D超分辨率表述为多分辨率稀疏体素网格上的序列建模问题。为了实现这一目标，我们引入了一种免训练、分辨率不变的标记化方案，该方案将八个八分体的几何信息紧凑地编码为一个十进制数。我们制定 transformer 序列以包含多个分辨率，从而允许粗略布局指导精细局部细节的生成。为了确保局部分块之间的一致性，我们将相邻块边界信息直接合并到 Transformer序列构造中。 VoxLution 实现了比现有基准更精细的体素分辨率的场景生成，在标准基准上展示了最先进的性能，在 3D-FRONT 上 FPD 降低了 59.6%，FID 降低了 51.1%，在 Scannet++ 上 FPD 降低了 70.5%，FID 降低了 73.8%。

VoxLution：以多分辨率稀疏体素序列细化三维室内场景：论文配图 — 图2：VoxLution概览。本文将高保真3D室内场景合成为多分辨率自回归级联，使用稀疏、分辨率不变编码（ROC）进行token化，并以跨层与边界邻居为条件构建分块多分辨率序列。左：Φ(0)以输入场景类型标签为条件，生成单层ROC序列形式的初始粗场景结构。中：每个级联Transformer Φ(k)（k≥1）接收包含更粗层级与邻近上下文的稀疏多分辨率序列，将各块细化至更高体素分辨率。右：稀疏VAE Φm把最终体素网格解码为双轮廓属性，进而生成最终三角网格。