Dream-Tac：用于接触丰富的机器人操作的统一触觉世界动作模型

世界行动模型继承了世界模型的预测能力，使得行动的生成能够由预期的未来观察来指导。然而，它们主要依赖于视觉，并且经常无法进行富含接触的操作，其中关键线索来自于身体互动。在本文中，我们提出了 Dream-Tac，这是一种统一的触觉世界动作模型，可以对动作、未来视觉观察和触觉动力学进行联合建模。具体来说，Dream-Tac 引入了（i）接触门控视觉触觉融合来选择性地整合触觉信号，以及（ii）接触感知注意偏差以更好地调节操作过程中的跨模式交互。为了支持实时部署，我们进一步设计了双层加速策略，重新制定接触感知偏差以在训练期间保留融合注意力路径，并在推理时引入基于缓存的扩散加速，实现高达 2.9$\times$ 的训练速度和 1.8$\times 的推理速度。在六个富含接触的操作任务中，Dream-Tac 平均将动作准确度提高了 31.7%，展示了统一视觉触觉世界建模的有效性。代码可在 https://github.com/LYFCLOUDFAN/Dream-Tac 获取。