论文

HELIOS:从午夜到中午,户外城市场景持续重新点亮

HELIOS: From midnight to noon, continuous outdoor urban scene relighting

应用与实践内容创作

摘要

修改驾驶图像的照明是一项基本挑战,因为大多数数据集都是在一天中的特定时间捕获的。现有方法依赖于合成数据或配对多照明监督,这限制了它们对现实世界场景的多样化和具有挑战性的条件的泛化。为了解决这个问题,我们提出了 HELIOS,这是一种新颖的图像重新照明方法,它依赖于未标记的真实世界数据集,而不需要任何配对图像进行训练。我们的方法将基于反照率的调节集成到循环一致的扩散管道中,以防止身份崩溃并确保准确的域转换。为了处理低能见度的夜间条件,我们引入了强大的反照率 蒸馏 策略,该策略可从白天域转移结构稳定性。此外,我们用基于 GPS 导出的太阳角度的细粒度控制机制取代了传统的文本提示,从而能够在昼夜周期内实现平滑、连续的照明操作。通过广泛的评估和用户研究,我们证明 HELIOS 在日夜任务和日夜任务中都能产生结构一致且现实的结果,优于最先进的方法。