论文
Dexora:用于高自由度双手灵活性的开源 VLA
Dexora: Open-source VLA for High-DoF Bimanual Dexterity
摘要
视觉-语言-动作(VLA)模型最近已成为实体人工智能的中心方向,但当前的系统仅限于双夹具控制或单臂灵巧的手动操作。虽然低维夹具控制通常可以用更简单的方法来处理,但高维灵巧手控制可以从完整的端到端 VLA 学习中受益匪浅。在这项工作中,我们介绍了 Dexora,这是第一个开源 VLA 系统,本身就针对双臂、双手高自由度操纵。我们设计了一种混合远程操作管道,将粗手臂运动学(用定制外骨骼背包捕获)与精细手指运动(通过 Apple Vision Pro 进行无标记手部跟踪)分离,并驱动物理双臂双手平台和相同的 MuJoCo 数字双胞胎。使用该界面,我们组装了一个大型训练语料库:一个与实施例匹配的合成语料库(100K 条模拟轨迹,650 万帧)和一个包含 10K 远程操作片段(292 万帧)的真实世界数据集。为了减轻嘈杂的远程操作演示,我们提出了一种数据质量感知的训练方法:离线鉴别器为扩散 Transformer 策略训练提供剪辑级权重,降低低质量演示的权重。根据经验,Dexora 在基本和灵巧基准方面均优于竞争性 VLA 基线(例如,平均灵巧成功率为 66.7% 与 51.7%),在基本任务上取得了 90% 的成功,并显示出强大的分布外和跨实体泛化能力。消融证实了真实数据和灵活性鉴别器的重要性。