UniTac：用于跨传感器触觉理解和生成的统一多模态模型

统一多模态模型（UMM）在整合不同模态的理解和生成方面显示出了巨大的前景。然而，现有的研究很少将这种范式扩展到触觉领域，其中对象级语义和传感器级配置共同决定触摸的含义。为了解决这一差距，我们提出了 UniTac，这是第一个专为触觉理解和生成而设计的 UMM。 UniTac 将触觉过程建模为从非接触到接触的过渡，通过对传感器和对象属性进行编码的双层表示来捕获传感器和对象之间的物理交互。对于触觉理解，UniTac 引入了两个任务：对象属性描述和传感器识别，以增强对物理和跨传感器信息的推理。对于触觉生成，我们设计了一个由重建和对齐组成的两阶段训练范例，以及模拟真实触觉接触的基于传感器先验的采样策略。 UniTac 经过大规模多传感器数据集的训练，在触觉理解方面实现了最先进的性能，并跨传感器生成真实的触觉信号。