LightCrafter：PBR 条件视频扩散细化，实现可控且一致的重新照明

视频重新照明需要平衡长期时间一致性与对光传输的物理基础理解，这取决于对材质、几何形状和照明等固有场景属性的准确估计。现有方法遵循两个范式：（1）通过逆向渲染重建视频的光度属性，并使用基于物理的渲染（PBR）或神经渲染器通过前向渲染将其重新照亮到目标照明；它们遭受噪声重建的困扰，并与难以建模的效果（例如全局照明）作斗争。 （2）将任务框架为以重新照亮目标（目标环境地图或文本）为条件的生成视频到视频翻译；这限制了重新照明控制和时间稳定性，因为扩散模型很难翻译长格式视频，并且受到输入/重新照明训练对的可用性的限制。我们提出了 LightCrafter，一种混合​​管道，它将视频重新照明重新表述为代理视频的视频翻译：我们不是将输入视频直接翻译到目标，而是将目标照明下输入的 PBR 渲染翻译为最终目标。这将照明目标烘焙到 PBR 代理中，无需教授环境贴图等扩散模型照明概念，并实现更复杂的照明控制，同时自然地提供长形式的时间一致性。我们展示了单独的 PBR 渲染已经超越了一些现有技术，但在全局照明等效果方面遇到了困难；为了捕捉这些，我们在合成视频对和现实世界的未配对视频上利用 后训练 CogVideoX 视频生成模型中的光度先验。我们在现有的现实世界重新照明基准方面超越了先前的最先进水平，并为进一步分析提供了综合基准。我们将发布我们的数据集、基准、指标和代码。