论文
再见漂移:用于长视野视频到视频生成的锚定树采样
Goodbye Drift: Anchored Tree Sampling for Long-Horizon Video-to-Video Generation
摘要
长视距视频生成面临两个相互交织的问题。首先,存在漂移,视频质量随着时间的推移而下降。其次,存在连续性问题,表现为对象持久性问题,或不正确地渲染瞬态内容(例如,出现在非连续帧中的对象改变颜色/样式)。最近的工作重点是同时解决这两个问题的自回归 蒸馏 技术。相反,我们选择直接关注漂移并引入 \textbf{锚定树采样(ATS)}:一种 无需训练 推理时间调度程序,用稀疏到密集、锚定边界插补(组织为树)取代从左到右的采样轨迹。根调用在整个范围内生成稀疏锚点,递归细化生成中间锚点,最终叶跨度在相邻锚点之间合成。这将关键路径从 $K$ 顺序采样轨迹步骤减少到 $L+1$ 树分层步骤,并将水平复合漂移转换为锚定边界漂移。我们专注于 emph{static-camera} 状态下的 V2V 生成,其中地平线上的稀疏锚点可以很好地近似于密集的条件信号,并且基本模型可以在无需重新训练的情况下生成它们。我们根据 Wan $2.1$ $+$ VACE 上的两个当代自回归基线,通过五种调节模式(修复、修复、边缘、姿势、深度)来评估 ATS。我们表明,ATS 在整体质量以及漂移预防方面均优于竞争对手。我们还展示了在相同的五种模式下,LTX-$2.3$ 上稳定的 $\geq 40$ 分钟生成。最后,我们提出了将 ATS 扩展到任意长的 T2V 生成以及动态相机和多重拍摄机制的前进路径。