射线作为像素：学习视频和相机轨迹的联合分布

从图像中恢复相机参数并从新的视角渲染场景已被视为计算机视觉和图形学中的独立任务。当图像覆盖稀疏或姿势不明确时，这种分离就会崩溃，因为每个任务都取决于另一个任务产生的结果。我们提出射线作为像素，这是一种视频扩散模型（VDM），可以学习视频和相机轨迹的联合分布。据我们所知，这是第一个在单个框架内预测相机姿势并进行相机控制视频生成的模型。我们将每个相机表示为密集射线像素（raxels），这是一种与视频帧位于同一潜在空间中的像素对齐编码，并通过解耦自交叉注意机制对两者进行联合去噪。单个经过训练的模型可处理三项任务：根据视频预测摄像机轨迹、根据输入图像沿着预定义的轨迹生成视频以及根据输入图像联合合成视频和轨迹。我们评估姿势估计和相机控制的视频生成，并引入闭环自一致性测试，表明模型的预测姿势和以这些姿势为条件的渲染一致。针对 Plücker 嵌入的消融证实，用视频表示共享潜在空间中的摄像机实际上更有效。