论文
物理分两步:在视觉细化擦除运动先验之前锁定它们
Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them
摘要
图像到视频的扩散模型利用输入图像来生成视觉上令人惊叹的内容,但经常产生违反物理定律的运动。我们揭示了一个令人惊讶的发现:2 步生成通常比同一模型的 50 步输出表现出更好的物理一致性。通过频谱分析,我们将其追溯到去噪过程中的相位侵蚀;相位显着下降(从步骤 2 到步骤 50 下降 $\approx 18\%$),而幅度保持相对稳定。基于这一见解,我们提出了 PhaseLock,这是一个 无需训练 框架,可以在整个去噪轨迹中保留来自几步推理的有效运动先验。 PhaseLock 不依赖全步推理来实现物理一致性,而是仅从 2 个步骤中提取先验运动,并通过潜在增量指导将其强制执行高保真生成。我们的方法有效地减轻了相位退化,将不同模型的物理一致性平均提高了 6.2 个点,同时在很大程度上保持了视觉保真度,开销可以忽略不计($1.06\times$ 时间,$1.02\times$ 内存),并减少了对昂贵的外部引导方法的依赖($\sim5\times$ 时间)。项目页面:https://dnwjddl.github.io/phaselock