HarmoVid：令人愉悦的视频肖像协调

我们提出了一种协调前景视频的照明以匹配目标背景场景、调整阴影、色调和照明强度（轻松协调）的方法。与图像不同，获取视频的标记数据（在不同的照明条件下记录相同的运动）实际上是不可行且不可扩展的。虽然创建此类配对数据的一种方法是将现有的基于图像的协调模型逐帧应用于视频，但所得输出通常会遭受严重的时间抖动。我们通过引入一种新颖的照明去闪烁模型来克服这个问题，该模型可以稳定全局和局部照明闪烁伪影。我们的视频扩散模型从这些升级的去闪烁数据以及大量真实和合成视频中学习，以生成高质量的视频协调结果。我们进一步提出了一种非对称 alpha 掩模调节技术，以从真实视频中学习清晰的边界。实验表明，与之前基于图像和基于视频的协调方法相比，我们的模型实现了强大的时间连贯性、自然性、更清晰的边界和物理上有意义的照明行为，同时保持了强大的重新照明表现力。