SERF：用于长视野移动操作的时空环境和机器人特征图

长视距机器人移动操纵需要对定位、环境变化和任务进度进行持续推理，所有这些都很难仅从图像观察中推断出来。在本文中，我们证明了在时空特征图上调节移动操作策略可以改善长视野的推理。该地图将环境和铰接式机器人身体表示为共享潜在空间中的神经点，并根据自我中心观察和本体感受状态在线更新。我们使用对象级刚性跟踪更新环境神经点，并使用正向运动学更新机器人神经点。我们使用时空环境和机器人特征（SERF）地图作为视觉语言动作（VLA）模型的状态输入，通过从多个参考系和空间尺度中提取地图标记，为策略提供本地和全局上下文。我们在 BEHAVIOR-1K 上演示了 SERF，BEHAVIOR-1K 是家庭环境中长视距移动操作的基准。实验表明，SERF VLA 策略优于仅图像基线，通过遵循更直接的轨迹更快地达到子目标，提高了对场景配置转换的鲁棒性，并从对象丢失故障中恢复。