论文
MolmoSpaces:用于机器人导航和操作的大规模开放生态系统
MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation
摘要
大规模部署机器人需要对日常情况的长尾具有鲁棒性。描述真实环境的场景布局、物体几何形状和任务规范的无数变化是巨大的,并且在现有的机器人基准测试中没有得到充分体现。衡量这种普遍性水平需要基础设施的规模和多样性,这是物理评估本身无法提供的。我们推出了 MolmoSpaces,这是一个完全开放的生态系统,用于支持机器人政策的大规模基准测试。 MolmoSpaces 包含超过 23 万个不同的室内环境,从手工制作的家庭场景到程序生成的多房间房屋,其中包含 13 万个带有丰富注释的对象资产,其中包括 48,000 个具有 42M 稳定抓握的可操纵对象。至关重要的是,这些环境与模拟器无关,支持流行的选项,例如 MuJoCo、Isaac 和 ManiSkill。该生态系统支持全方位的具体任务:静态和移动操纵、导航以及需要在整个室内环境中协调感知、规划和交互的多房间长视野任务。我们还设计了 MolmoSpaces-Bench,这是一个包含 8 项任务的基准套件,其中机器人与我们的不同场景和带有丰富注释的对象进行交互。我们的实验表明,MolmoSpaces-Bench 表现出很强的模拟与真实相关性(R = 0.96,\r{ho} = 0.98),确认更新更强的零样本策略在我们的基准测试中优于早期版本,并确定提示措辞、初始关节位置和相机遮挡的关键敏感性。通过 MolmoSpaces 及其开源资产和工具,我们为机器人学习研究的可扩展数据生成、政策训练和基准创建提供了基础。