论文
HorizonRelight:通过扩散一致地重新照亮长视野视频 Transformer
HorizonRelight: Relighting Long-horizon Videos Consistently via Diffusion Transformers
摘要
基于扩散的视频重新照明可以从单个输入视频进行可控重新照明,但现代视频扩散骨干网是在短剪辑上进行训练的,并通过分块滑动窗口推理应用于长视距视频,通常会导致块边界处的时间不连续性。我们通过将长视野重新照明重新定义为\emph{时间条件潜在域翻译}来解决这个问题。我们的框架通过跨边界传播目标域潜伏来强制跨块连续性,并使用 \emph{屏蔽目标域自调节} 使这种行为可学习,训练模型从暂时屏蔽的传播上下文中继续。我们进一步引入了来自可控生成模型的带有重新点亮提示锚的\emph{warm-start提示},它建立了初始目标域状态并为基于提示的重新点亮创建了通用接口。对野外长视界视频的实验表明,时间一致性显着提高,块边界伪影大大减少,块之间不需要的外观变化也大大抑制。