MotionSpec：用于运动一致视频生成的光谱轨迹监督

文本到视频生成的最新进展已经实现了高保真视觉合成，但真实的运动仍然具有挑战性。生成的视频可能会在复杂的运动过程中表现出时间不连续性、动作进展不一致以及结构扭曲。即使各个帧看起来很真实，潜在的运动也可能以不一致或难以置信的方式演变。标准生成目标提供了有限的特定于运动的监督，使得运动演化没有得到充分的约束。在本文中，我们提出了MotionSpec，一种以谱轨迹一致性（STC）为中心的运动监督框架。 STC 构建密集的锚点相对运动轨迹，并通过时间傅立叶变换将其转换为运动谱体。通过对齐预测轨迹和目标轨迹的频谱幅度和相位，STC 约束跨时间频率的运动强度和运动的时间组织。为了补充这种轨迹级监督，我们引入了局部流一致性（LFC），它可以对齐预测视频和目标视频之间的连续帧光流以稳定局部运动过渡。实验表明，MotionSpec 不断提高运动一致性、时间连贯性和合理性，同时保持视觉保真度。