BWM：用于机器人学习的低成本高保真世界模拟器

可靠的机器人学习需要一个世界模拟器，该模拟器可以在物理硬件上执行之前预测动作后果，包括有风险和容易失败的结果。现有的物理模拟器需要大量的资产构建和校准，并且仍然面临模拟与真实的差距，而视频生成器通常缺乏对细粒度机器人动作响应的精确控制。在本文中，我们提出了无边界世界模型（BWM），这是一种用于机器人操纵的开源、低成本、高保真世界模拟器。 BWM 是一种动作条件世界模型，它结合了初始环境引导、动态视觉历史和时间对齐的机器人动作条件，用于对未来观测进行状态自回归预测。我们通过轨迹重放、重叠剪辑采样和初始观察增强来构建动作对齐的训练剪辑。 BWM 充当数据引擎，通过与动作一致的预测轨迹来增强模仿学习数据，并充当闭环评估、风险预期和政策排名的政策评估器。 WorldArena 基准测试和物理机器人的实验证明了数据引擎和策略评估器设置中模拟器保真度和功能实用性的提高。 BWM 在 WorldArena 挑战赛的第一轨及其两个第二轨应用中总体排名第一。我们发布了BWM开源生态系统，包括模型检查点、训练和推理代码以及数据生成和策略评估的接口。