FELT：从视觉生成触觉信号以进行视觉触觉操作

触觉是操纵的核心，尤其是当视觉被遮挡或模糊时。尽管视觉和触觉的结合可以改善操作，但学习强大的视觉触觉策略需要大量的触觉数据。此类数据仍然比视觉数据稀缺，因为触觉传感器脆弱、专业且难以标准化。为了解决这个问题，我们提出了特征提取的潜在触觉 (FELT)，这是一种基于学习的框架，可以从 RGB 观察中合成每个手指的压力触觉图像，从而减少对配备触觉的数据收集的需求。 FELT 使用大型冻结视觉编码器和轻量级查询解码器来预测单前馈传递中的触觉信号。为了尊重双指触觉传感器的物理拓扑，FELT 通过单独的分支对左右触觉传感器面板进行解码，捕获擦拭、插入和手中旋转等交互过程中的不对称接触模式。在推理时，FELT 仅需要 RGB 数据，使我们能够通过触觉观察来增强现有的纯视觉数据，无论是生成的触觉图像还是潜在的触觉特征。对四个富含接触的操作任务的实验表明，生成的触觉图像和潜在触觉特征都比仅视觉基线提高了策略成功率，其中潜在特征在策略训练或部署期间不需要真正的触觉传感器。补充材料可在我们的匿名网站上找到：https://felt-tactile.github.io/。