FTP-1：跨触觉传感器的多面手基础触觉策略，用于丰富的接触操作

尽管基于视觉的通用机器人策略取得了成功，但现有的基于触觉的策略仍然与固定的实施例和传感器设置相关。这是因为触觉信号在不同硬件上具有高度异构性，使得跨传感器泛化变得困难。我们提出了 FTP-1，这是第一个经过预训练的通用基础触觉策略，旨在获得跨不同传感器和实施例的可转移触觉操纵能力。 FTP-1 支持各种触觉输入，包括基于图像、阵列和状态的信号，通过使用异构编码器将它们投影到统一的形态感知潜在标记中，这些标记由共享触觉 Transformer 专家联合建模。 FTP-1 对从 26 个数据源汇总的约 3,000 小时的触觉操作数据进行预训练，涵盖 21 个传感器的人类和机器人演示，它学习的触觉技能超越了预训练期间看到的传感器。在跨越 5 种硬件配置的下游微调实验中，FTP-1 将已知传感器设置上的接触丰富操作提高了 17.2%，并且令人惊讶的是，转移到了两个以前未见的触觉传感器设置，成功率提高了 31%。 FTP-1 为触觉操作建立了第一个统一的基础基线，为未来的触觉策略提供了共享的模型级起点。预训练模型、数据集、训练代码和更多可视化信息，请访问 https://ftp1-policy.github.io。