论文
冻结流忘记:在潜在流世界模型中诊断和恢复丢失的运动
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
摘要
潜在世界模型将流集成到冻结的自我监督的潜在空间中,稳定且廉价地训练,但默默地失去了最依赖的属性操纵:运动。预训练流永远不会移动被操纵的对象;用仅潜在损失重新训练它只会将静止换成类似瞬移的运动。我们将失败追溯到训练信号,而不是表示:锚点稀疏、仅潜在的监督永远不会说明沿地平线变化所属的位置。解码增强轨迹训练 (DART) 修复了此问题,同时保持表示冻结,仅通过解码路径监督重新训练流程。 DART 在完整协议上优于其潜在的唯一父级,恢复运动的时间结构,并将预测的运动重新耦合到场景;在更大的范围内,它进一步提高了预测质量,缩小了与预言机通知插值参考的剩余差距的近一半。最后,我们报告了一个关于评估的意外发现:仅像素误差就奖励冻结的预测。