论文
超越模仿:针对 VLA 模型的基于强化学习的 Sim-Real 协同训练
Beyond Imitation: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models
摘要
仿真提供了一种可扩展且低成本的方式来丰富视觉语言动作(VLA)训练,减少对昂贵的真实机器人演示的依赖。然而,大多数模拟-真实协同训练方法依赖于有监督的 微调 (SFT),它将模拟视为演示的静态源,并且不利用大规模闭环交互。因此,现实世界的收益和泛化往往是有限的。在本文中,我们提出了一种基于强化学习的模拟-真实协同训练 (RL-Co) 框架,该框架利用交互式模拟,同时保留现实世界的功能。我们的方法遵循通用的两阶段设计:我们首先在真实和模拟演示的混合上使用 SFT 热启动策略,然后通过模拟中的强化学习对其进行微调,同时在现实世界数据上添加辅助监督损失以锚定策略并减轻灾难性遗忘。我们使用两种代表性的 VLA 架构 OpenVLA 和 $π_{0.5}$ 在四个现实世界桌面操作任务上评估我们的框架,并观察到相对于纯真实 微调 和基于 SFT 的协同训练的一致改进,包括 OpenVLA 上 +24% 的现实世界成功率和 $π_{0.5}$ 上 +20% 的现实世界成功率。除了更高的成功率之外,强化学习协同训练还可以对未见的任务变化产生更强的泛化能力,并显着提高现实世界的数据效率,为利用模拟增强实际机器人部署提供实用且可扩展的途径。