论文
AirForesight:UAV-VLN 的当前到未来空间地图想象与跨空间规划一致性
AirForesight: Current-to-Future Spatial Map Imagination with Cross-Space Planning Consistency for UAV-VLN
摘要
无人机视觉语言导航 (UAV-VLN) 要求智能体遵循语言指令,从稀疏的多视图观察中推断空间结构,并在复杂的室外环境中执行可行的 3D 运动。尽管 大语言模型 最近取得了进展,但大多数现有方法仍然将视觉语言输入直接映射到动作,提供有限的显式场景基础和未来感知的空间推理。我们提出了 AirForesight,一个针对 UAV-VLN 从当前到未来的空间地图想象框架。 AirForesight 首先从多视图观测中学习结构化的当前地图表示。这种表示由当前地图重建和未来轨迹预测共同监督,鼓励它对当前场景结构和未来运动意图进行编码。在结构化因果注意力下,当前的空间知识被传播到未来地图推理,并且所得到的当前和未来表示被聚合以预测下一个 3D 路径点。为了使空间想象与导航更加相关,我们引入了跨空间规划一致性损失,它鼓励预测的地图空间轨迹与从 真值 航路点位移得出的专家行动方向之间的方向一致。 OpenUAV 和 AerialVLN-S 上的实验以及广泛的消融证明了强大的性能并支持了所提出框架的有效性和稳定性。