Tabero：通过视觉、触觉和语言的闭环力反馈学习轻柔的操作

触觉传感对于机器人实现像人类一样的轻柔操作至关重要。然而，由于缺乏一致的视觉-触觉语言数据以及缺乏有效的闭环力反馈机制，现有的视觉-语言-动作（VLA）模型很难利用触觉反馈进行温和的操作。为了应对这些挑战，我们引入了 Tabero，这是一个基准和模型套件，用于温和的、语言调节的机器人操作，需要细粒度的接触力感知。首先，Tabero 基准测试通过提出一个数据高效的管道来解决触觉数据的稀缺问题，该管道重新利用开源机器人操作轨迹来生成不同的视觉触觉语言任务，并建立一个多维评估协议来衡量任务成功与物理交互质量。其次，我们提出 Tabero-VTLA，一种具有解耦力-位置命令接口的架构；由此产生的力-位置命令由固定混合控制器执行，以实现实时、力感知的操作。在 Tabero 上进行评估，我们的模型保持了较高的任务成功率，同时在温和的指令下将平均握力降低了 70% 以上，证明了其基于多模式体验调节交互力的能力。我们的代码可在 https://github.com/NathanWu7/Tabero 上公开获取。