RTNav：迈向实时零射击对象导航

借助强大的视觉和语言基础模型，在未知环境中导航以寻找不可预见的物体变得越来越可行。然而，这些模型也引入了不可忽略的推理延迟，当智能体必须在现实世界中持续运行时，这成为一个重要的问题。大多数最先进的方法仍然是在同步模拟器中开发的，其中环境等待代理采取行动，并且推理时间实际上是免费的。因此，代理通常是围绕感知、推理和行动的顺序执行来设计的，很少考虑时间限制。在实时执行下，挂钟时间计入任务预算，这些架构的低效率变得显而易见。我们表明，最近的零样本对象导航方法在这种现实的时序条件下会遭受持续的性能下降。受这一观察的启发，我们提出了 RTNav，这是一种简单但有效的架构，它将推理延迟、异步环境步进和有界计算视为显式设计考虑因素。通过对 HM3D-v1、HM3D-v2 和 HM3D-OVON 的实时变体进行评估，与之前的工作相比，RTNav 将成功率提高了 11%，按完成时间加权的成功率提高了 5.1 个百分点。