ExoBridge：用配对外骨骼与裸手数据桥接手部运动学习

人类视频为灵巧的机器人学习提供了可扩展的经验来源，但在保持徒手交互的同时获得运动和触觉监督仍然具有挑战性。我们提出了 ExoBridge，一个利用人体肢体耦合来学习从裸手视频到带传感器的外骨骼的运动和触觉状态的桥接映射的框架。我们的中心思想是使用协调的双手行为将未佩戴传感器的视觉源与测量的操作界面连接起来。在收集过程中，一只手保持裸露并提供视觉观察，而另一只手则佩戴外骨骼并提供同步运动和触觉测量。这些配对演示训练时序视觉模型，以仅根据裸手视频预测指尖接触、连续触觉强度和相对编码器运动。外骨骼定义了一个中间状态空间，其运动坐标通过现有校准链接到灵巧的机器人手。使用 留出 收集会话对 4 个操作任务的 1,215 个演示进行评估，得出汇总的任何接触 AUROC 为 0.916，触觉强度的 Pearson 相关性为 0.790。学习桥还可以根据徒手视频预测外骨骼配置的相对变化。这些结果表明，人体肢体耦合可以将外骨骼测量转化为徒手视频的监督，在人类视觉演示和面向机器人的操作界面之间建立一座学习桥梁。