驾驶世界模型如何进行反事实预测？

驾驶世界模型通常被解释为观察到的驾驶事件的反事实模拟器：给定事实驾驶日志，他们被问到在替代自我行为下会发生什么。在本文中，我们确定了该目标与直接行动条件预测之间的根本不匹配。直接预测使用共享历史和替代行动，但不使用该历史之后观察到的事实延续。因此，它可以在不保留这一集中实际发生的情况的情况下产生一个合理的未来。我们使用绑架、行动和预测的因果关系来形式化这种差距，并在短期的环境中研究它，其中替代的自我行动不会改变周围主体的演化方式。为了使差距可测量，我们构建了一个受控模拟基准，其中包含事实结果和匹配的反事实结果。在两个代表性的世界模型中，直接预测无法匹配反事实的 真值，这支持了我们的分析。作为对此分析的建设性检查，我们引入了一个故意简单的 无需训练 管道，它将观察到的证据转移到反事实视图中，并让冻结的模型完成仍然未知的事情。即使是这种简单的结构也大大提高了总体恢复分数，并减少了两个模型上与匹配的反事实的感知距离。我们希望这项工作能够引起人们对这一差距的关注，并激发更好的反事实预测方法来驱动世界模型。