$N_0$-TWAM：缩放触觉原生世界动作模型以实现丰富的接触操作

我们提出了 $N_0$-TWAM，这是一种用于丰富接触操作的触觉原生世界动作模型，可以预测未来视觉和未来接触。据我们所知，它是第一个大规模训练的触觉世界动作模型，并且在接触丰富的任务上表现出强大的能力。我们通过跨越六个实施例和 450 个任务的丰富触觉演示进行视觉触觉联合训练，对 $N_0$-TWAM 进行大规模预训练。我们使用 NeoForce（一种基于力的统一触觉表示）来形成一个物理依据对齐的接触信号，以调节动作的生成。为了改善长视野和多阶段操作，我们引入了用于任务分级的触觉接触事件，并在执行过程中推进它们。为了实现实时效率，我们采用非对称 Mixture-of-Transformer 架构，将用于视频预测的全宽专家与用于下游动作和触觉预测的细长专家配对。对真实和模拟基准的评估证明了 $N_0$-TWAM 在一系列接触丰富的任务中的能力，并证明了数据扩展对于精确触觉和动作预测的好处。总之，$N_0$-TWAM 赋予了世界动作模型以预测视觉、触摸和动作的预测能力，为开放式接触丰富任务的细粒度操作奠定了坚实的基础。代码库和模型检查点将公开，以促进触觉机器人操作的进一步研究和开发。