Image2Sim：通过生成神经模拟器缩放体现导航

具身导航旨在构建能够解释多模式目标、在 3D 空间中进行推理并在现实世界中可靠地到达目标目的地的代理。然而，由于缺乏可扩展、高保真和符合物理规律的的交互环境，进展仍然受到限制。尽管现实世界的扫描数据集提供了视觉真实感，但它们受到规模的限制。相比之下，合成模拟器更容易扩展，但通常会表现出较大的模拟与真实差距。我们介绍了 Image2Sim，这是一个实时神经模拟框架，它可以根据 RGB-D 图像序列构建高质量的交互式环境。中心思想是将 3D 空间锚定与真实感观察合成分离。对于场景构建，Image2Sim 使用前馈特征高斯模型，将 RGB-D 观察结果一次性提升为 3D 特征高斯表示。对于渲染，我们提出了一种几何感知一步像素流模型，将稀疏且嘈杂的高斯投影转换为高质量的全景 RGB-D 观测结果。 Image2Sim 还充当全自动体现数据引擎，可大规模生成高保真观察结果、可执行操作和各种导航指令。它将大量视频和图像转换为近2万个交互场景，并合成了超过1000万个导航训练样本。完全在这些神经环境中训练的导航模型在主要基准上取得了显着的改进，并有效地转移到现实世界的零样本设置。这些结果表明，可扩展的神经模拟可以作为大规模实体导航的实用训练基础。