生成可重新点亮的头像

我们提出了生成可重新照明化身（GRA），这是一种针对人体的真实感自由视图渲染和环境贴图重新照明的特定于人的方法。我们假设建模细粒度的外观细节本质上是一个一对多的问题，可以从生成公式中受益。与完全回归的可重新照明化身方法相比，GRA 采用混合方法，将可控的、基于物理的重新照明与概率细化相结合。从跟踪的动画网格开始，我们优化 UV 空间中的材质参数，并在目标 HDR 环境贴图下渲染粗略的重新照明外观。接下来，我们使用前馈模型细化纹理，以捕获超出简化反射率假设的依赖于姿态的纹理动态和照明效果。最后，经过微调的视频到视频扩散模型将物理基础渲染转换为时间连贯的高细节视频，同时保留 3D 控制，并采用错误回收策略来生成长视频。实验评估表明，与之前的可重新点亮化身基线相比，我们的方法提高了感知质量。项目页面：https://vcai.mpi-inf.mpg.de/projects/GRA/