ABot-3DWorld 0：探索任何 3D 空间的通用世界模型

我们推出了 ABot-3DWorld 0，这是一种通用的多模式 3D 世界模型，可将文本、图像和视频输入转换为高保真、可探索的 3D 世界。我们框架的核心是统一的空间生成基元 (SGP)，它是高质量全景图和空间点云的紧凑元组，可提供对任何 3D 空间的有效描述。多模式输入首先被提升到这个原语中；然后，3D 一致的全景视频生成器沿着计划的轨迹探索图元；最后，我们的全景视频重建引擎将生成的视频转换为干净、逼真的 3D 高斯泼溅 (3DGS) 世界。该管道涵盖两种机制：丰富的输入（多视图集、休闲视频）通过反映观察到的场景的几何严格恢复被提升到 SGP，而单个图像或句子则生成地完成到创意世界中。结果是一种用于通用 3D 内容创建的低门槛引擎，可进一步将生成的世界锚定到感兴趣的地理点，从而实现消费者规模的地图原生空间探索。实验表明，ABot-3DWorld 0 树立了开源方法的最先进水平，并在丰富的多模态输入下表现出比 Marble 更强的场景保真度。