行走在隐含之中：通过神经场景表示进行交互式世界探索

用于摄像机控制的世界探索的交互式视频生成系统逐步生成不断增长的潜在视频帧序列，将状态转换与高频观察合成纠缠在一起。我们提出了“Walking in the Implicit”，这是一种以场景为中心的范例，它将轨迹展开变量从潜在帧更改为固定长度、可渲染的隐式状态，称为神经隐式场景（NIS）。这将交互生成分解为紧凑场景状态的随机转换和给定采样状态的确定性姿势条件渲染。我们将这种范式实例化为 NeuWorld：Transformer VAE 从稀疏姿势帧中学习本地锚定的 NIS，而扩散 Transformer 根据未来相机轨迹和几何感知检索历史来演化 NIS。通过重复使用 VAE 编码器作为统一调节器，NeuWorld 将相机、参考图像和历史线索映射到相同的 NIS 模态中，避免了外部异构编码器。 NeuWorld 在公共姿势视图数据上从头开始训练，无需预先训练的视频主干或辅助 3D 重建器，实现了强大的长视野一致性和良好的推理效率。