Real2Gym：从视频构建健身房，为机器人带来技能

真实世界的视频提供了丰富的操作演示，但将它们转变为可重复使用的机器人技能需要视觉对齐的环境、可执行的物理交互以及从经验中学习的机制。我们推出 Real2Gym，这是一个 Agentic Real2Sim2Real 框架，它将人类和机器人演示变成交互式模拟健身房，并将在模拟中获得的技能带到物理机器人中。 Real2Sim 模块重建可编辑场景，将对象和摄像机与输入对齐，通过本机物理执行验证演示或重新定位的动作，并通过动作可行性检查生成任务条件变化。在这些环境中，Agent为操作阶段生成可执行代码，观察其结果，并将成功的尝试和失败提炼为可重用的任务过程、对象相关运动和恢复策略。通过共享的感知和控制界面，这些技能指导模拟和真实机器人的后续执行，其运动适应当前的观察结果，并且不更新底层模型权重。广泛的评估表明，Real2Gym 能够实现高保真模拟环境重建，其成功率比 GPT-6 Astra Direct 模式高出 16.7%，在这些环境中策略执行词元减少了约 74.9%，而在真实 Franka 机器人上的四项任务中，物理机器人执行成功率比 GPT-6 Astra Direct 模式高出 33.3%。