论文

KindER:机器人学习和规划的物理推理基准

KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning

模型评测基准与评测资源

摘要

与物理世界交互的机器人系统必须推理其自身的体现、环境和手头任务所施加的运动学和动态约束。我们推出 KinDER,这是运动学和动态体现推理的基准,针对机器人学习和规划中出现的物理推理挑战。 KinDER 包含 25 个程序生成的环境、一个具有参数化技能和演示的与 Gymnasium 兼容的 Python 库,以及一个标准化评估套件,其中包含 13 个实施的基线,涵盖任务和运动规划、模仿学习、强化学习和基于基础模型的方法。这些环境旨在隔离五个核心物理推理挑战:基本空间关系、不可理解的多对象操纵、工具使用、组合几何约束和动态约束,与感知、语言理解和特定于应用程序的复杂性分离。实证评估表明,现有方法难以解决许多环境问题,这表明当前的物理推理方法存在巨大差距。我们还在移动操纵器上进行了真实到模拟到真实的实验,以评估模拟与现实世界物理交互之间的对应关系。 KindER 是完全开源的,旨在实现跨不同范式的系统比较,以推进机器人技术的物理推理。网站和代码:https://prpl-group.com/kinder-site/