HapTile：用于丰富接触模仿学习的触觉信息视觉-触觉-语言-动作数据集

尽管触觉感知对于可靠的操作很重要，但大多数现有的视觉-语言-动作（VLA）数据集仍然仅包含视觉，而那些包含触觉信息的数据集通常缺乏任务多样性、语言调节和动作轨迹的联合组合。此外，现有的远程操作管道很少向操作员提供触觉反馈，尽管其在演示质量和操作稳定性方面发挥着既定的作用。在这项工作中，我们提出了 HapTile，一种基于接触的视觉触觉操作数据集，它通过在两个层面嵌入物理交互传感来超越仅视觉的轨迹数据集：机器人末端执行器的指尖触觉反馈和远程操作员侧的触觉通知演示。数据收集平台将触觉反馈直接集成到远程操作控制器中，使操作员能够实时感知接触交互。它围绕标准且可重复的机器人系统构建，配备定制设计的指尖触觉传感器。该数据集包括日常操作任务，涵盖广泛的接触丰富的技能，包括拾放、折叠、按压、堆叠和其他日常活动。每个任务都与根据操作目标制定策略的语言指令以及同步的视觉触觉观察和动作轨迹配对。此外，我们使用两个基线模型提供了关于丰富接触策略学习的基准研究，以评估所提出的基于接触的数据集的有效性。数据集和其他详细信息可在我们的网站上找到：haptile-dataset.github.io。