论文

DisCo:具有离散摄像机运动控制的世界模型

DisCo: World Models with Discrete Camera Motion Control

模型推理解码与生成控制

摘要

可控视频世界模型的目标是交互式世界探索,其中模型必须忠实地执行明确的动作命令,同时保持视觉质量和时间连贯性。然而,大多数现有方法依赖连续的摄像机轨迹作为动作条件,这通常会导致不可靠的动作跟随,特别是在复杂的运动序列下。在这项工作中,我们将动作表示纠缠确定为可控视频生成的关键瓶颈,并表明连续的摄像机表示会导致不同运动模式之间的特征高度相似,从而降低动作的可控性。基于这一见解,我们提出了 DisCo,一种可控视频世界模型,它在一组紧凑的离散动作基元上调节生成,以提高动作可分离性。我们进一步介绍了 DisCoBench,这是一个评估模型在短期、长期和高度动态探索场景中能力的综合基准。大量实验表明,DisCo 在保持视觉质量的同时实现了更可靠的动作跟随。