FeelWorld：用于分层接触预测和规划的视觉-触觉世界模型

人类通过想象候选行为的可能结果来计划身体互动。然而，现有的视觉世界模型主要捕捉外观动态，而忽略了控制丰富接触交互的触觉状态，可能会产生视觉上看似合理但违反物理动态的想象未来。我们引入 FeelWorld，这是一种分层视觉触觉世界模型，可以共同预测未来的视觉潜伏和三种触觉状态。 FeelWorld 将这些状态分层组织为接触状态、编码与力相关信息的 3D 触觉潜在状态和滑动状态。这些状态由具有显式监督的共享潜在动力学模型共同预测。为了防止自由空间运动期间不相关的触觉信号降低视觉预测，我们引入了一种接触门控不对称注意机制，该机制在接触之前维持仅视觉预测路径，并在接触期间实现联合视觉触觉动力学预测。该模型通过自回归和上下文噪声注入进行进一步训练，以提高对复合错误的鲁棒性。预测的接触和滑移状态还支持接触感知 CEM 规划。芯片抓取、水果抓取和 USB 插入实验表明，FeelWorld 将 10 步 LPIPS 从 0.084 降低到 0.058，并在 80 步自回归预测轨迹后保持比视觉基线低 61% 的 LPIPS。 FeelWorld 还实现了 81.7% 的平均零样本规划成功率，为将触觉感知融入世界模型提供了有效的方法。