Orbis 2：驾驶的分层世界模型

当前的世界模型在单一抽象级别上运行，最优先考虑感知保真度，同时缺乏现实世界下游任务所需的空间推理和语义理解。我们提出了一个分层驾驶世界模型，该模型将未来预测分解为在不同时间和抽象尺度上运行的两个级别：一个高级预测器，用于预测扩展时间范围内的粗略场景结构，以及一个低级生成器，用于根据高级输出生成详细预测。这种分解产生了高感知保真度，同时还捕获了强大的空间和语义表示。我们进一步表明，使用扩散强迫目标的预训练比标准教师强迫目标产生更丰富的内部表示，而教师强迫（仅从干净的上下文中预测下一帧）产生更稳定的自回归生成轨迹。因此，我们引入了一种通用的两阶段训练范例，该范例使用扩散强制对模型进行预训练，并使用教师强制进行微调，将前者的代表性优势与后者的生成轨迹稳定性结合起来。我们的方法在既定基准上的驾驶世界模型评估标准套件中取得了最先进的结果，包括长期生成保真度、在反事实场景下评估的转向响应性以及内部表示质量。包含代码、演示、检查点和定性结果的项目页面：https://lmb-freiburg.github.io/orbis2.github.io/