Tactile-WAM：具有触觉不对称注意力的触摸感知世界动作模型

世界行动模型（WAM）共同预测未来的视觉观察和行动，但仅靠视觉未来往往会错过滑动、干扰、接触方向变化以及接触丰富的操纵中的微妙错位。触觉信号揭示了这些隐藏的物理状态，但由于触觉数据规模有限，简单的触觉词元注入可能会破坏视觉动力学模型，我们将这种现象称为触觉污染。我们引入了 Tactile-WAM，它使用非对称注意力来阻止来自触觉按键的视频查询，同时保留动作查询的触觉访问。接触变化感知偏差进一步加强了对触摸的动作注意力。由于触觉像素变化不能可靠地反映接触变化，因此我们推导出观察到的代理变化驱动了注意力偏差，而未来代理监督在预测的触觉表示中保留了与动作相关的接触动态。在 ManiFeel 上，视觉路径隔离在步骤匹配的 20K 检查点的 MSE 中将与仅 RGB 轨迹的偏差减少了 21.8%，而 真值 视频质量没有统计上可检测到的变化。完整模型将平均成功率从 15.6% 提高到 32.7%，其中 VideoClean 的增益最大。在五项真实机器人任务中，Tactile-WAM 取得了 49.2% 的成功率。