论文
无坐标几何:LiDAR 扩散作为 3D 特征桥梁
Geometry Without Coordinates: LiDAR Diffusion as a 3D Feature Bridge
摘要
将大型 2D 基础模型的丰富先验转移到稀疏 3D LiDAR 仍然具有挑战性,因为在可比规模上训练原生 3D 基础模型受到数据和注释稀缺的限制。我们引入了一种 LiDAR 条件扩散模型,该模型在现成的 2D 基础模型的伪标签上进行训练。该模型支持多种输出模式,包括深度、语义分割和实例预测,可通过文本任务提示进行选择。由于该模型以 LiDAR 为条件,因此其输出和中间 UNet 特征都可以投影回输入点云,从而能够分析完全在 2D 监督下学习的 3D 表示。我们直接在点云空间中研究这种表示,明确排除原始空间坐标以将特征内容与投影几何隔离。线性探针在 3D 语义类上恢复高达约 23% 的并集平均交集 (MIoU),而匹配的高斯噪声控制则恢复约 3.5%,这表明结构非常重要。特定模态特征流之间的成对余弦相似性揭示了分层组织。早期的编码器层在不同模态之间保持弱对齐,而可单独解码的中间层向共享表示收敛,而解码器层重新专门针对特定于任务的输出。这些发现表明,LiDAR 条件扩散模型可以仅从 2D 监督中诱导结构化 3D 表示,并具有在共享瓶颈附近局部统一的模态相关流形。这将扩散定位为将大规模 2D 先验转移到稀疏 3D 域的可行机制。