论文
UMI-Bench 1.0：使用 UMI 数据进行桌面机器人操作的开放且可重复的真实世界基准
UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data
摘要
真实的机器人评估对于了解学习的操纵策略是否可以在策划的演示之外可靠地运行至关重要。这种需求对于通用操作接口（UMI）式的策略来说尤其紧迫，其性能取决于手腕视图观察、动作表示、数据收集和物理部署之间的耦合。现有的现实世界基准已取得重要进展，但它们并不是围绕此 UMI 数据到部署设置而设计的。我们推出了 UMI-Bench 1.0，这是一个本地优先的真实机器人基准，用于标准化评估 UMI 式操纵策略。据我们所知，这是第一个致力于对基于 UMI 的操纵模型进行实际评估的基准。 UMI-Bench 在统一协议中协调数据收集、场景重置、策略执行、结果记录和任务因素分析。通过使完整的评估过程具有可重复性和可审计性，UMI-Bench 提供了一个实用的测试平台，用于衡量 UMI 训练的策略如何推广到实际的物理操作。