3D Isovist 世界模型——揭示城市不为人知的几何形状及其新兴的跨城市特征

城市中的实体智能体依靠世界模型来预测周围环境在他们移动时将如何变化。但对于导航来说，重要的不是建筑物的外观，而是建筑物的外观。这是代理可以去的地方。尽管如此，大多数世界模型仍然预测外观，学习场景的外观，而不是智能体可以移动的空间。那些以几何为目标的系统，例如鸟瞰图占用网格，将三维环境扁平化到地平面上，丢弃了塑造真实导航的地上和多层结构。缺少的是一个预测目标，该目标可以捕获代理实际穿越的可导航几何形状，而无需光度纠缠，也不会破坏三维空间。我们的主要想法是对建筑物之间的开放体积（即负空间）进行建模，编码为 3D isovist：记录每个方向上到最近表面的距离的球形可见度深度图。我们引入了一个具体的世界模型，该模型可以根据过去的 isovist 的简短历史和运动行动来预测下一个 isovist。预测被公式化为深度残差，因此解码器继承了尖锐的建筑边缘，通过自执行轨迹计划采样进行训练，以在几何流形上保留损坏的上下文，并配备持久的潜在鸟瞰空间图以实现跨路径一致性。我们的中心发现是紧急且出乎意料的：在曼哈顿和巴黎训练的单一城市盲模型开发了跨城市空间特征，城市身份可从远高于单帧基线的时间潜伏线性解码，因此特征存在于学习的动态中而不是外观中。该表示是轻量级的、可解释的和可重复的，为具体人工智能、机器人技术和城市分析中的空间推理提供了几何基础，并通过开放数据集和管道发布。