IOI：交互式世界模型的运动学和物理解耦

开发通才体现代理需要交互式环境提供视觉逼真的反馈和准确的动作条件动态。交互式世界模型通过模拟这种复杂的动态来解决这个问题。然而，由于缺乏明确的结构约束，纯粹的数据驱动方法很难确保精确的控制对齐和物理上合理的视觉反馈。为了解决这个问题，我们提出了 IOI，一种将分析运动学先验与学习的物理动力学相结合的混合交互式世界模型。与容易出现时空漂移的数据驱动方法不同，IOI 引入了显式运动学指导，根据动作序列计算正向运动学，以获得准确的运动轨迹。这些轨迹被渲染成同步的正面、侧面和顶部正交投影，从而无需外部相机校准。多视图运动聚合和注入模块融合这些几何线索并将它们注入视频生成器，提供几何一致的指导。在这些确定性轨迹上调节视频生成在分析模拟器和世界模型之间建立了协同作用。将确定性运动解耦到运动学先验中，使生成器能够自由地模拟随机物理相互作用。 RoboTwin 基准测试的实验验证了运动学保真度、分布外 (OOD) 泛化和策略评估方面的 IOI。 IOI 实现了最先进的仿真性能和对未见过的 OOD 任务的强大的零样本泛化。此外，IOI 作为可靠的策略评估器，产生的成功率与 真值 物理模拟器密切相关。在现实世界的平台上，基于 IOI 合成数据训练的政策与远程操作演示训练的政策相匹配，巩固了其对具体政策学习的实用价值。