OctWorld：使用基于八叉树的 3D 映射生成长距离世界一致视频

我们推出了 OctWorld，这是一个具有持久 3D 内存的视频传播框架，用于生成可探索的、世界一致的和高保真视觉场景。给定单个图像，OctWorld 沿着用户指定的相机轨迹执行稳定的自回归世界生成。我们专注于长距离生成，其特点是延长相机路径和宽视点覆盖范围，当重新访问先前生成的区域时，保持空间一致性尤其具有挑战性。为了解决这个问题，我们引入了 OctMap，一种可扩展且空间自适应的 3D 内存，它逐渐将生成的视觉观察及其相应的深度图融合成全局表示。 OctMap 在动态稀疏八叉树内采用 TSDF 融合，其空间分辨率适应图像证据。这种设计保留了不同场景尺度的几何和外观细节，同时保持较低的内存开销。实验表明，OctWorld 可以生成长距离、空间一致的视频，并且在现有基准和具有挑战性的长距离生成设置上都优于先前的方法。与基于点的缓存和固定分辨率 TSDF 卷相比，OctMap 还具有明显的优势。项目页面：https://maxtirerror.github.io/octworldpage/