论文
$π$,但让它飞起来:物理引导下将 VLA 模型转移到空中操纵
$π$, But Make It Fly: Physics-Guided Transfer of VLA Models to Aerial Manipulation
摘要
诸如 $π_0$ 之类的视觉-语言-动作 (VLA) 模型已经在不同的固定基座机械臂中表现出了卓越的泛化能力。然而,由于固定底座臂的准静态动力学与飞行的欠驱动、高动态性质之间的根本不匹配,将这些基础模型转移到空中平台仍然是一个开放的挑战。在这项工作中,我们介绍了 AirVLA,这是一个研究预训练 VLA 到空中拾放任务的可迁移性的系统。我们发现,虽然视觉表征可以有效地传递,但飞行所需的特定控制动态却不能有效地传递。为了在不重新训练基础模型的情况下弥合这种“动态差距”,我们引入了有效负载感知指导机制,该机制将有效负载约束直接注入策略的流匹配采样过程中。为了克服数据稀缺的问题,我们进一步利用高斯泼溅管道来合成导航训练数据。我们通过累积的 460 个真实世界实验来评估我们的方法,这些实验表明,这种合成数据是性能的关键推动因素,在导航任务中实现了 100% 的成功,其中仅在远程操作数据上直接使用 微调 就获得了 81% 的成功。我们的推理时间干预“有效负载感知指导”将现实世界中的拾放任务成功率从 23% 提高到 50%。最后,我们在长期组合任务上评估该模型,取得了 62% 的总体成功率。这些结果表明,经过适当的数据增强和物理指导的预先训练的操纵 VLA 可以转移到空中操纵和导航,以及这些任务的组成。