AutoDex：用于灵巧抓取数据收集的自动化现实系统

学习稳健灵巧的抓取需要记录抓取尝试的物理结果的真实数据。此类数据很难大规模获得：远程操作可以产生有效的物理结果，但速度缓慢且存在操作员偏差，而基于模拟的生成成本低廉且可扩展，但无法证明接触有效性。一个自然的解决方案是生成候选抓取并在真实硬件上验证它们，但这只有在整个收集循环（感知、执行、标记和重置）在没有人工干预的情况下运行时才能扩展。我们提出了 AutoDex，一个自动化的现实世界数据收集系统，它可以闭合这个循环：对于来自可更换生成器的每个候选对象，它通过密集的 20 个摄像头感知来定位在严重的手部物体遮挡下的对象，执行碰撞监控的机器人运动，标记举起并保持成功或失败，并在试验之间主动重置对象，以在稳定的姿势中暴露其他候选对象。结果是一个可重复使用的物理标记抓取试验数据库，下游系统可以通过检索和可行性过滤进行查询。使用 AutoDex，我们收集了 Allegro 和 Inspire 手上 100 个不同物体的 3,593 次抓取试验，并具有同步的多视图观察和机器人状态日志。对于匹配的 500 条轨迹集合，AutoDex 需要 10.3 小时，而远程操作需要 49.4 小时，吞吐量提高了 4.8 倍，并且从 AutoDex 验证的数据库中检索的抓握成功率为 76%，而纯模拟验证则为 34%。代码和数据将公开发布。