论文
分层VLA设计:机器人规划与控制如何衔接
What Matters in Orchestrating Robot Policies: A Systematic Study of Hierarchical VLA Agents
摘要
通过使用高级 VLM 规划器将任务分解为由底层 VLA 控制器执行的语言子目标,分层视觉-语言-动作 (Hi-VLA) 系统已成为复杂机器人操作的一种有前途的范例。尽管最近取得了实证进展,但这些系统缺乏统一的设计原则:现有的 Hi-VLA 系统在如何选择和连接规划器、控制器、两者之间切换的机制以及如何在规划器中表示观察和记忆方面有所不同。在本文中,我们对用于机器人操作的 Hi-VLA 设计进行了系统研究。我们将代表性的 Hi-VLA 智能体统一在选项式控制框架下,并在短视野、长视野和推理密集型任务中对核心设计选择进行基准测试。我们的分析提炼了构建 Hi-VLA 系统的实用原则,展示了模型选择和接口机制如何共同塑造性能。在模拟和真实 ALOHA 机器人上进行的实验中,应用这些原理可以产生比平面 VLA 控制或简单设计的层次结构更强大的系统。总的来说,我们的结果为构建更有能力、更强大、更有原则的分层 VLA 代理奠定了基础。更多信息和视频请访问 jiahenghu.github.io/hi-vla。