论文
DexJoCo-X:多手灵巧操作的动作表示基准
DexJoCo-X: Benchmarking Action Representations for Multi-Hand Dexterous Manipulation
摘要
随着灵巧手增多,为每种形态单独采集数据与训练策略日益不切实际。可扩展的跨具身学习因此需要统一表示:捕捉共享操作结构同时保留形态特定控制。手、任务、数据集与控制接口的差异使既有研究无法隔离表示、预训练与架构的影响。我们提出DexJoCo-X——跨七种代表性灵巧手、六个单臂与双手任务、2100条均衡演示的受控比较基准与工具箱:提供匹配的多手多任务协议(共同场景、成功标准与执行接口)、重新设计的手套到手映射,以及把审核过的演示扩展到随机化场景的自动管道。使用π0.5、Ego-Pi与Being-H0.5,我们检验共享动作接口是否足以支持多手学习:把π0.5扩展到80维双手输出成功率近零;Ego-Pi经交错预测保留预训练动作头并支持每手多任务学习,但对七手联合训练仍无效;Being-H0.5结合跨具身预训练、统一动作空间与具身感知专家,实现一策略控制全部七手。该架构内函数对齐动作槽取得47.7%平均成功,原生坐标47.0%、DexLatent 33.1%。结果表明跨具身表示依赖整个学习系统:动作坐标、预训练与架构必须共同把共享操作结构与具身特定控制分离。