LiveLight：具有交互式控制的实时流视频重新照明

我们推出了 LiveLight，这是第一个基于扩散的框架，用于具有交互式 3D 照明控制的实时流视频重新照明。实现这一目标并非易事，因为它需要克服三个关键挑战：有效地将动态 3D 光照注入扩散模型、在极低的 NFE（功能评估数量）预算下保持高保真生成以实现实时速度，以及促进交互式控制的连续流传输。为了解决这些痛点，我们提出了三个关键设计。首先，为了实现精确的照明注入，我们提出了一种轻量级适配器，可将多平面光辐照度 (MPLI) 条件（编码 3D 照明几何形状的深度感知辐照度图）直接馈送到扩散骨干网中。其次，为了防止在低 NFE 下向实时 蒸馏 渲染质量下降，我们引入了几何引导的反馈分支。这种训练时间约束利用冻结的几何估计器来强制深度和法线一致的重新照明，确保几何上合理的着色，而不会增加推理开销。最后，为了实现流交互，我们开发了一种渐进式滚动窗口策略，该策略在不同的噪声水平下维持潜在块的去噪阶梯。通过传播中间状态，该策略保证了时间一致性，并通过每帧参考刷新支持任意长的视频重新点亮。对现实世界和综合基准的大量实验表明，LiveLight 在以实时速度运行时实现了最先进的重新照明质量，在时间稳定性、照明可控性和用户偏好方面显着优于离线基线。为了促进实时交互式重新照明研究，我们将公开发布我们的模型、训练数据和合成数据生成器。