用于空中导航的具有蒸馏视觉语言可靠性的引导扩散

自主无人机导航通常通过将感知、映射和规划分为不同阶段的管道来解决，这会传播错误、累积延迟，并且需要针对特定​​环境的重新调整。端到端生成模型通过将原始观察结果直接映射到轨迹来消除这些接口，但继承了一种微妙的失败模式：在干净的数据上进行训练，它们无法识别观察结果何时不可靠，并将玻璃、镜子和过度曝光的表面等退化区域视为规划的有效证据。我们提出了一种用于 3D 无人机导航的可靠性感知扩散规划器。它调节观察轨迹的生成以及场景级可靠性热图，该热图标记感知不可信的地方，由轻量级网络生成，该网络在实时规划预算内提取视觉语言模型的开放词汇推理。为了在不进行重新训练的情况下推广到看不见的环境，我们使用可微分的两阶段 ESDF 成本来引导去噪过程，该成本可以平等地对待来自深度的物理障碍物和来自高度不可靠区域的虚拟障碍物。在模拟和真实四旋翼飞行器上，我们的规划器生成的轨迹明显比最先进的扩散基线更安全，将越障率从 40.3% 降低到 9.6%，并将遍历区域的平均可靠性从 0.588 提高到 0.925。仅消除可靠性项就将平均可靠性从 0.898 降至 0.783，证实了它是决定性的组成部分，而 蒸馏 的框架运行速度比完整视觉语言模型快 2 倍。