TacWAM：具有力学感知触觉预测的锚引导世界动作模型

世界动作模型（WAM）将未来状态预测与机器人动作生成相结合，但现有方法很大程度上依赖于视觉未来。视觉预测捕捉场景结构和物体运动，但在接触丰富的操作过程中对力、变形、剪切和滑动提供有限的监督。这就产生了两个设计要求：触觉未来应该携带有意义的物理信息，并且它们不应该成为行动生成的特权线索。我们推出了 TacWAM，这是一种机械感知的触觉 WAM，它分三个步骤解决了这一挑战。首先，空间对齐融合 (SAF) 触觉编码器将触觉外观、密集力场和变形流映射到共享的潜在预测空间，并通过双边力和扭矩重建保留全局接触信息。其次，触觉历史编码器提供时间上下文，因此未来的触觉预测反映了力和变形如何变化超出当前的触觉观察。第三，锚引导三模态（AGT）注意力将当前视觉和触觉锚点、未来预测标记和动作标记分开，允许未来的触觉状态监督训练，而无需被动作分支直接读取。我们在四个现实世界的接触丰富的操作任务上评估 TacWAM，包括脆弱的抓取、持续的表面接触和动态的手动操作。 TacWAM 的平均成功率为 75.0%，比最强评估基线高出 37.5 个百分点。当触觉历史被删除并且对未来预测目标的访问放松时，分阶段消融显示出持续的退化。这些结果表明，未来的触觉监督与信息丰富的触觉表示和部署一致的信息约束相结合可以改善接触感知动作学习。