以人为本的可转移触觉 预训练 用于灵巧的机器人操作

作为灵巧和接触丰富的任务的基本方式，触觉传感提供了无法从视觉可靠推断的精确力反馈。然而，受硬件和数据采集系统的限制，现有的触觉数据集规模仍然较小，接触覆盖面也较窄。同时，具有触觉模态的视觉-语言-动作（VLA）模型受到动力学不可知的 后训练 的约束，这限制了下游任务的性能上限。在本文中，我们提出了 H-Tac，这是一个大规模触觉动作数据集，包含 160 小时以自我为中心的人类视频，包含超过 300 个任务和 135k 个片段。在此基础上，我们提出了 Transferable Tactile 预训练 (TTP)，这是一种基于触觉的 预训练 系统，基于人类数据，用于细粒度的机器人任务。为了弥合人类和机器人之间的差距，我们在 预训练 和 后训练 阶段使用统一的触觉和动作空间，在人机迁移过程中保留先验知识。通过利用触觉专家进行未来的触觉预测，我们的框架明确地模拟了接触动力学和精确的物理交互。在模拟和真实机器人上进行的大量实验表明，我们的模型实现了卓越的性能，表现出强大的泛化和细粒度的操纵能力。 TTP 为通过人机传输实现可扩展触觉 预训练 铺平了道路。