Bench2Dex：灵巧手的视觉-触觉双手灵巧操作基准测试

触觉传感提供的接触信息很难仅从视觉中推断出来，但用于灵巧手的触觉硬件尚未融合到通用设计中。灵巧的手在手指结构、接触表面和传感器布局方面有所不同，而模拟的触觉信号仍然与物理传感器产生的测量结果不同。这些因素使得在一致的实验环境中研究不同灵巧手的视觉触觉操作变得困难。我们推出了 Bench2Dex，这是一个针对 12 只灵巧手进行视觉触觉双手操作的模拟基准。我们使用共享的模拟触觉界面来调整现有的机器人模型，该界面将局部接触几何形状转换为类似图像的触觉观察。该界面提供了跨不同手部形态的一致观察格式，而无需尝试重​​现特定物理触觉传感器的输出。 Bench2Dex 包括 26 个双手操作任务，涉及工具使用、铰接物体交互和多阶段操作，以及大约 1,300 个人工遥控演示。该基准提供同步的视觉、触觉、本体感觉、动作和对象状态观察，以及可执行任务指标。为了鲁棒性，我们将七种扰动类型分为不变轴（正确动作不改变）和等方差轴（正确动作随扰动一起变化）。我们在 Bench2Dex 上评估 ACT、Diffusion Policy、pi0.5 和 GR00T N1.5，并报告它们的性能和故障模式。 Bench2Dex 旨在作为一个研究灵巧双手视觉触觉学习的平台。它并不假设模拟触觉观察可以取代真实的触觉感知；它为算法开发提供了共享设置，而触觉硬件和模拟模型仍在不断发展。