DexVerse：多任务、多实施灵巧操作的模块化基准

构建通用灵巧操作策略需要超越孤立任务的基准，以系统地评估跨不同交互模式、感官条件和机器人实施例的策略。然而，现有的基准在任务和数据多样性、实施例覆盖或可控视觉变化方面仍然有限，阻碍了跨任务和跨实施例泛化的研究。我们推出 DexVerse，一个用于灵巧操作的大规模模块化基准。 DexVerse 包括 100 项涵盖广泛操作技能的任务，包括物体抓取和重新定位、铰接物体交互、功能性工具使用、双手协调、非抓握控制、丰富接触行为、多目标执行和长期多阶段任务完成。它支持 3 个机器人手臂和 6 个灵巧的手，并且可扩展到新的任务、资产和实施例。为了评估视觉运动泛化，DexVerse 提供了纹理、背景、照明和相机视点的可配置视觉变化。我们进一步提供基于 VR 的远程操作界面和 3,180 个具有同步本体感受、RGB、深度、点云和状态观察的演示。我们在 19 项任务中对代表性方法进行了基准测试，包括 Diffusion Policy、DP3、OpenVLA 和 $π_{0.5}$。结果揭示了任务泛化和视觉运动鲁棒性方面的巨大挑战，使 DexVerse 成为通用灵巧操作的一个有前途的测试平台。项目页面：https://ycyao216.github.io/DexVerse.site