AdvDex：通过联合行动和对抗性学习从人类演示中学习灵巧操作

灵巧的操纵是体现智能的一项基本能力，但扩展它仍然很困难，因为收集机器人演示的成本很高，而且动作空间因实施例而异。在异构数据上训练的策略还可以将与任务相关的视觉线索与特定于实施例的外观纠缠在一起，从而限制跨实施例泛化。我们提出了 AdvDex，这是一个统一的视觉-语言-动作框架，用于从人类和机器人演示中学习灵巧的操作。首先，我们介绍 OmniShare，这是一个人类操作演示的大规模多模式数据集，它提供高质量的运动学监督和触觉测量，同时减少对机器人远程操作的依赖。其次，我们提出了关节对齐动作空间（JAAS），这是一种规范动作表示，包括 $\mathrm{SE}(3)$ 手腕姿势和 15 个手指关节，从而在功能上对齐人手、灵巧的机器人手和平行抓手。最后，我们使用领域对抗学习来减少学习的视觉表示中的具体实施例信息。手部动作预测和现实世界灵巧操作的实验表明，相对于基线的持续改进、有效的零样本人机技能转移、对看不见的物体和环境的泛化，以及数据高效的小样本适应。