ContactWorld：对于接触丰富的操作中的视觉-触觉潜在世界模型来说，表示什么很重要

丰富的接触操作对世界模型提出了根本性挑战：视觉和触觉观察捕捉物理交互的不同方面，其效用很大程度上取决于这些信息的表示方式。我们推出了 ContactWorld，这是一项针对 12 个富含接触的操作任务的视觉-触觉表征的受控基准和实证研究。使用固定的世界模型架构、训练程序和规划框架，我们通过三个互补的属性来检查表示效果：空间保真度、运动连贯性和预测稳定性。点云比图像观察更可靠地保留任务相关的几何形状并跟踪物理运动，这有助于解释其平均规划成功率高达 32.1%，而腕部和前视 RGB 分别为 20.7% 和 22.0%。触觉观察通常会减少长期预测误差的积累，但这些收益并不能统一转化为任务的成功。结构化触觉力场提供了最一致的下游改进，PointCloud+TacFF 实现了最高的整体模拟成功率 36.1%。我们通过涵盖六项任务、两个机器人平台和三个触觉传感系统的 900 次物理试验进一步验证了这些趋势。总之，ContactWorld 将感官表征确定为视觉-触觉世界模型的核心设计因素，并为富含接触的操作中的预测规划提供经验指导。