ViTacWorld：扩展视觉触觉世界模型以实现富含接触的机器人操作

富含接触的机器人操作需要相机通常看不到的物理交互线索，这使得触觉传感对于稳健控制至关重要。然而，扩展视觉触觉机器人学习仍然很困难，因为真实的触觉交互数据的收集成本很高，依赖于硬件，并且任务和场景多样性有限。我们推出了 ViTacWorld，这是一种用于可扩展的接触丰富的机器人操作的动作条件视觉触觉世界模型。 ViTacWorld 利用公共真实触觉数据集和构建的模拟环境来扩展视觉触觉动作数据，利用触觉信号直接基于物理接触的事实，并且可以表现出比纯视觉观察更小的模拟与真实差距。该模型首先使用大规模真实和模拟的视觉触觉轨迹进行预训练，然后通过现实世界的策略执行轨迹进行微调，以更好地匹配下游操纵行为。给定机器人动作，ViTacWorld 可以预测时间上对齐的视觉观察和触觉反馈，从而实现视觉-触觉动作的预测轨迹生成。据我们所知，ViTacWorld 是第一个使用世界模型进行机器人视觉触觉动作轨迹生成和策略评估的框架。它有两个作用：合成预测轨迹以改进下游触觉策略，以及通过预测受控动作序列下的动作条件视觉触觉结果来评估策略。对接触丰富的操作任务的实验表明，ViTacWorld 生成物理上有意义的部署，通过可扩展的数据增强提高策略性能，并实现以动作为条件的策略评估。项目页面：https://vitacworld.github.io/