UniLM-Nav：零射击最后一英里导航的统一框架

移动操纵需要机器人导航到目标物体或容器，然后执行预期的操纵。然而，到达目标附近并不能保证可以进行操纵的基本姿态，这个问题被称为最后一英里导航。先前的最后一英里导航方法要么依赖于手动姿势注释，要么依赖于特定任务的训练，这将其可扩展性限制在具有细粒度空间约束的开放词汇设置中。我们提出 UniLM-Nav，这是一个零样本开放词汇最后一英里导航的统一框架。 UniLM-Nav 将最后一英里导航分解为视图选择、任务条件可供性定位和几何感知基本姿势推理，所有这些都通过共享多模式 大语言模型 (MLLM) 后端解决。具体来说，UniLM-Nav 首先从最近收集的观测中选择最能捕获目标物体或容器的参考视图。然后，它将与任务相关的可供性点放置在所选视图中，并将结果提升到以机器人为中心的坐标系中。最后，根据已定位的可操作位置、任务上下文和机器人几何形状，它推断出机器人的操纵就绪基本姿势。我们在 OVMM 基准上评估 UniLM-Nav，它的性能比之前最先进的方法 MoTo 好 3.13 个百分点。分析表明，我们方法的组成部分对于最终性能至关重要，并且 MLLM 的选择也有很大的影响。我们进一步将 UniLM-Nav 部署在带有 6 自由度 Unitree Z1 操纵器的 Unitree B2 四足机器人上，验证其对现实世界移动操纵任务的适用性。