异质触觉 Transformer

触觉传感器本质上是异构的：在一个传感器上训练的模型不能直接在另一个传感器上使用，这限制了从不同的触觉数据中大规模学习接触丰富的操作策略。为了弥补这一差距，我们提出了异构触觉 Transformer (HTT)，这是一个学习跨异构传感器共享触觉表示的框架。 HTT 由传感器特定的编码器和共享的 Transformer 主干组成，并通过按模态掩蔽重建以及配对传感器之间的跨模态对齐进行预训练。预训练使用我们新颖的异构配对触觉 (HPT) 数据集，其中包含四个基于视觉和阵列的触觉传感器的 1.6M 同步配对帧。在不同的触觉感知和现实世界的操作任务中，HTT 被证明可以学习可转移的表示，以适应新的任务和以前未见过的传感器。数据集、代码和模型检查点将在 https://jxbi1010.github.io/htt-gh-page/ 发布后发布。