论文
RoboDojo：综合评估通用机器人操作策略的统一模拟和真实基准
RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies
摘要
通用机器人操纵政策发展迅速，但现有基准在系统评估其能力方面仍然有限。许多任务依赖于能力范围有限的简单、短期或技能狭窄的任务，并且通常仅在模拟或现实世界中进行。模拟可以实现可扩展的反馈，但会忽略物理部署的挑战，而现实世界的评估成本高昂、耗时且难以重现。我们推出了 RoboDojo，这是一个统一的模拟与真实基准，用于综合评估通用机器人操纵策略。 RoboDojo 包括 42 个模拟任务和 18 个现实世界任务，涵盖多样化和互补的操作功能。模拟基准评估五个维度：泛化、内存、精度、长期执行和开放词汇指令遵循，而现实世界基准则将策略暴露给具有挑战性的物理世界部署条件。 RoboDojo 通过 Isaac Sim 中的异构并行仿真支持可扩展评估，并提供 RoboDojo-RealEval，这是一个可重现的现实世界评估系统，具有远程云访问、标准化硬件、场景重置、评估协议和部署接口。与 XPolicyLab 一起，策略可以集成一次，并在模拟和现实环境中进行评估，只需进行最小程度的调整。我们将 30 项政策集成到 XPolicyLab 中，并在 RoboDojo 上对其进行评估，建立公共排行榜并对当前政策绩效进行系统分析。该网站位于 http://robodojo-benchmark.com/。