论文

Holo360D:具有连续轨迹的大规模现实世界数据集,用于推进全景 3D 重建及其他领域

Holo360D: A Large-Scale Real-World Dataset with Continuous Trajectories for Advancing Panoramic 3D Reconstruction and Beyond

模型评测基准与评测资源

摘要

虽然前馈 3D 重建模型发展迅速,但由于球面扭曲,它们在全景图上的性能仍然下降。此外,现有的全景 3D 数据集主要是通过固定在离散位置的 360 个摄像机收集的,导致轨迹不连续。这些限制严重阻碍了全景前馈 3D 重建的发展,特别是对于多视图设置。在本文中,我们提出了 Holo360D,这是一个综合数据集,包含 109,495 个全景图,并配有注册的点云、网格和对齐的相机姿势。据我们所知,Holo360D 是第一个提供连续全景序列和精确对齐的高完整性深度图的大型数据集。原始数据最初是使用 3D 激光扫描仪和 360 度摄像头收集的。随后,使用在线和离线 SLAM 系统处理原始数据。此外,为了提高 3D 数据质量,提出了针对 360 度数据集量身定制的后处理流程,包括几何去噪、网格孔填充和特定区域重新网格化。最后,我们通过 Holo360D 上的 微调 3D 重建模型建立了新的基准,为有效的 微调 策略提供了关键见解。我们的结果表明,Holo360D 可提供卓越的训练信号,并为推进全景 3D 重建模型提供全面的基准。数据集和代码将公开。