论文

RIO:用于跨实施例机器人学习的灵活实时机器人 I/O

RIO: Flexible Real-Time Robot I/O for Cross-Embodiment Robot Learning

AI 基础设施模型部署

摘要

尽管最近努力收集多任务、多实施例数据集,设计训练视觉-语言-动作模型(VLA)的方法,并在不同的机器人平台上展示这些模型,但通用的跨实施例机器人能力仍然是一个很难实现的理想。进展受到分散的基础设施的限制:大多数机器人代码都高度特定于用户决定的确切设置,这在尝试在用户之间重用、回收或共享工件时增加了主要开销。我们推出 RIO(机器人 I/O),这是一个开源 Python 框架,它为跨不同硬件平台和形态的机器人控制、远程操作、数据格式化、传感器配置和策略部署提供灵活、轻量级的组件。 RIO 提供的抽象使用户能够做出任何选择并在它们之间进行切换,而只需最少的重新配置工作。我们在三种形态(单臂、双手、人形)和四种具有不同夹具和摄像头的硬件平台上验证 RIO 的 VLA 部署工作流程。利用 RIO 收集的远程操作数据,我们对最先进的 VLA 进行微调,包括 $π_{0.5}$ 和 GR00T,以完成诸如拾放、折叠和擦洗碗等家务任务。通过开源我们所有的努力,我们希望社区能够加快在现实世界的机器人硬件上学习机器人的步伐。其他详细信息请访问:https://robot-i-o.github.io