随机世界建模的特征空间中的流匹配

世界建模需要预测不确定的未来，同时保留对下游感知有用的信息。现有的视觉世界模型通常难以满足这两个目标：基于 VAE 的随机模型在低维重建潜伏中运行，这可能会限制感知性能，而使用强大的预训练特征的确定性预测器会将多模态未来压缩为单个模糊均值。在这项工作中，我们提出了 FlowWM，一种随机世界模型，可以直接在预训练的特征空间（例如 DINOv3）内执行流匹配。这是具有挑战性的，因为预训练的特征基本上是高维的，使得标准扩散方案不是最佳的。为了解决这个问题，我们研究了特征空间流匹配所需的设计选择，并引入了一种可微分的一步投影机制，该机制能够实现具有时间一致性和任务驱动目标的高效训练。我们根据两个基准评估 FlowWM：用于系统评估准确性和多样性的综合基准，以及现实世界的基准 FuturePerception。 FlowWM 提高了感知性能、模式覆盖范围和水平稳健性，验证了我们提出的高维特征空间随机世界建模设计。