Pixel Cube：通过逼真的照明再现进行基于扩散的人像视频重新照明

我们提出了一种基于扩散的方法，用于重新照亮具有真实感和时间一致性的动态肖像视频。我们的方法由混合训练数据集提供支持，该数据集由真实捕获和渲染的动态肖像视频组成，具有不同的主题外观、面部动作、头部姿势和已知的照明条件。具体来说，我们构建了一个基于 LED 的照明系统，用于逼真的照明仿真和高速视频重新照明数据采集。通过利用预训练视频扩散模型中嵌入的图像先验，并使用每帧高动态范围（HDR）环境图作为照明控制，我们训练了一个高性能生成模型，用于逼真且保留身份的动态肖像视频重新照明。除了环境贴图控制之外，我们的模型还使用合成的背景图像来控制相机的曝光级别和色调。我们的模型可以生成时间一致的重照人像视频，在提供的新环境下看起来逼真、和谐，并忠实地保留拍摄对象的表情和精细的面部特征，包括肤色、皱纹和面部毛发。我们的模型在主体外观、运动和照明条件方面很好地概括了看不见的数据。我们对使用各种环境地图重新照亮野外视频进行了广泛的实验，并演示了人像摄影的实际应用。结果表明，我们的方法在真实感、光照和谐和时间一致性方面实现了最先进的性能。