BodyReLux：时间一致的全身视频重新照明

能够重新点燃人类的表现是后期制作和内容创作的一项基本任务。我们提出了 BodyReLux，一个基于特定主题的视频扩散框架，用于以时间一致的方式重新照亮全身人类表演。我们的模型在像素对齐视频重新照明对的混合数据集上进行训练，涵盖照明条件、性能和视点的多种组合。为了获取这样的数据集，我们结合了传统的静态一次一灯（OLAT）捕获和一种新颖的动态性能捕获，其中两个平滑变化的照明序列快速交错。由于照明工作在人类闪烁融合阈值之上，因此交错不会出现频闪。我们从预先训练的文本到视频模型来训练我们的视频重新点亮模型，以充分利用生成先验来生成高质量的视频。为了实现精确的照明控制，我们引入了一种新的照明调节方法，将每个光源表示为词元。我们使用屏蔽注意力进一步调节照明序列以支持动态照明控制。结合精心设计的数据增强管道，我们实现了对特定主题的人类表演的逼真、稳健且时间一致的视频重新照明。