RoboCap：协同标定与基础立体模型采集第一视角机器人数据

尽管它承诺扩展机器人学习，但以自我为中心的操作数据今天仍然稀缺。大规模收集需要将人体工学硬件与厘米级精度的 3D 算法垂直集成，其 精度 尚未公开演示。为了弥补这一差距，我们推出了 RoboCap（一款 250g 六摄像头双 IMU 帽子，专为野外自我中心数据捕获而设计）和 Grounded API（一套专为 RoboCap 调整的与设备无关的 3D 算法）。在本报告中，我们展示了硬件、校准和 3D 算法如何相互作用，以在公共基准测试中实现最先进的性能：我们在不同设置和装备上的 SLAM、我们对自我中心设置的深度估计，以及我们在适应第三方设备时的手部跟踪。