T-Rex：触觉反应灵巧操控

长期以来，对触觉信号的动态反应能力一直被认为对于人类敏捷程度至关重要。然而，当代用于机器人操作的基于学习的视觉-语言-动作（VLA）模型通常要么忽视触觉形态，要么仅限于具有静态线索的编码器，部分原因是缺乏多样化的训练数据和标准化评估、当前VLA模型的架构限制以及静态触觉编码器的局限性。在本文中，我们通过解决所有这些限制来推动触觉反应操纵的前沿。我们提出了一个大规模、100 小时丰富触觉的数据集，通过一种新颖的、数据高效的方法收集，该方法优先考虑基本运动原语。为了有效利用自然高频触摸信号而不牺牲现有 VLA 的现有功能，我们引入了一种配备新型时间触觉 VQ-VAE 编码器的可变速率 Mixture-of-Transformer (MoT) 架构。我们展示了触觉反应策略在 12 项需要精细力控制和可变形物体操纵的操纵任务上的有效性，其平均成功率比最强基线高出 30% 以上。