LightCtrl：无需训练 可控视频重新照明

最近的扩散模型在图像重新照明方面取得了显着的成功，并且这种成功很快扩展到了视频重新照明。然而，现有方法对重新点亮输出中的照明提供有限的显式控制。我们提出了 LightCtrl，这是第一个可控视频重新照明方法，可以通过用户提供的光轨迹以 无需训练 方式显式控制视频照明。我们的方法结合了预先训练的扩散模型：图像重新照明模型单独处理每个帧，然后在增强时间一致性之前进行视频扩散。为了实现对动态变化照明的明确控制，我们引入了两个关键组件。首先，光照图注入模块对特定于光轨迹的噪声进行采样，并将其注入源视频的潜在表示中，从而提高与条件光轨迹的照明相干性。其次，几何感知重新照明模块在频域中动态组合 RGB 和法线贴图潜伏，以抑制原始照明的影响，进一步增强对输入光轨迹的遵守。实验表明，LightCtrl 可以生成具有多种照明变化的高质量视频，这些变化紧密遵循指定的光轨迹，从而证明了相对于基线方法改进的可控性。代码位于：https://github.com/GVCLab/LightCtrl。