GeoStream：实现精确的摄像机控制流视频生成

准确的交互式摄像机控制对于基于视频的世界模型至关重要，但大多数现有方法隐式学习摄像机运动，导致在分布轨迹外控制不准确。显式几何条件提高了可控性，但现有方法是非自回归的，并且依赖于从初始帧构建的静态 3D 缓存，一旦视点移出原始视锥体，该缓存就会变得无效。我们提出了 GeoStream，这是一个框架，可以在自回归流视频生成中实现精确的公制尺度相机控制。我们的方法维护一个自刷新的 3D 缓存，该缓存会根据模型自己的输出定期在线更新：我们从最近生成的帧估计深度，取消投影到 3D，然后重新投影到目标视图中以生成点重投影作为后续合成的几何条件。根据相同的原理，训练期间看到的条件也从学生自己生成的帧中呈现，产生完全的 同策略 蒸馏，它自然地对齐训练和推理条件分布。与使用 离策略 条件噪声的先前工作不同，我们的方法根据推理时遇到的精确误差分布来训练模型，从而减轻标准自回归漂移和当缓存本身源自生成的输出时出现的二阶几何反馈循环。定量和定性结果表明，我们的方法大大提高了相机的可控性。