VoLo：用于开放词汇长视野操作的物理协调器

开放词汇长视野操作要求机器人能够对灵活的指令和复杂的多对象场景进行推理，同时自适应地规划、执行、监控和从故障中恢复。我们通过一个封闭的代理循环来满足这些需求，其中 VLM 将异构机器人功能协调为可中断的工具。与虚拟人工智能代理不同，决策、行动和工具调用的时机在不会因推理而暂停的物理世界中非常重要。我们将此设置称为物理编排，并提出 VoLoAgent，这是一种 VLM，它通过将 VLA/WAM 视为可中断工具来规划、监控和恢复，它在部署过程中与视觉模型和动作原语一起进行引导。为了评估这些长期能力，我们引入了 RoboVoLo，这是一个高保真基准，用于跨常识、记忆/状态跟踪、复杂引用和世界知识进行开放词汇长期操作，并具有任务级成功和失败模式诊断。实验表明，经真实机器人实验验证，VoLoAgent 的性能明显优于单个 VLA/VLM 或基于工具的系统。项目页面：https://chicychen.github.io/VoLo/