论文

ElasticTTT:视频编辑的预先保留测试时间调整

ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing

应用与实践内容创作

摘要

预训练扩散模型的测试时间调整 (TTT) 已成为视频编辑的强大范例。然而,生成模型的分布映射性质与标准 TTT 的单点优化之间存在根本性的不匹配。在本文中,我们证明这种不匹配会触发 \textit{Prior Collapse},这是一种退化状态,其中模型丢弃文本条件和空间潜伏,将各代折叠为源视频,或使不同区域的特征纠缠在一起。为了解决这个问题,我们提出了 \textbf{ElasticTTT},这是一种保留先验生成分布并挽救生成弹性的新颖框架。具体来说,我们提出 \textit{Target Distribution Regularization} 来防止急剧的记忆最小值,\textit{Contrastive CFG} 来引导推理远离源偏差,以及 \textit{Asynchronous Noise Schedule} 来保留未编辑的区域。在理论分析的支持下进行的广泛评估表明,ElasticTTT 成功保留了基本模型的生成先验,在一次性视频编辑方面实现了最先进的性能。