通过语义进展功能进行视频分析和生成

图像和视频生成模型产生的转换通常以高度非线性的方式演变：内容几乎没有变化的长时间延伸，随后是突然的、突然的语义跳跃。为了分析和纠正这种行为，我们引入了语义进展函数，这是一种一维表示，可以捕获给定序列的含义如何随时间演变。对于每一帧，我们计算语义嵌入之间的距离并拟合反映整个序列的累积语义偏移的平滑曲线。这条曲线与直线的偏离揭示了语义节奏的不均匀。基于这种见解，我们提出了一种语义线性化程序，可以重新参数化（或重新定时）序列，以便语义变化以恒定的速率展开，从而产生更平滑、更连贯的过渡。除了线性化之外，我们的框架还提供了一个与模型无关的基础，用于识别时间不规则性、比较不同生成器之间的语义节奏，以及将生成的视频序列和现实世界的视频序列引导至任意目标节奏。