论文

LumaFlux:通过物理引导扩散将 8 位世界提升到 HDR 现实 Transformer

LumaFlux: Lifting 8-Bit Worlds to HDR Reality with Physically-Guided Diffusion Transformers

应用与实践内容创作

摘要

支持 HDR 的设备的快速普及迫切需要将 8 位标准动态范围 (SDR) 内容转换为感知和物理上准确的 10 位高动态范围 (HDR)。现有的逆色调映射 (ITM) 方法通常依赖于固定色调映射算子,这些算子很难推广到现实世界的退化、风格变化和相机管道,经常产生高光剪切、颜色不饱和或不稳定的色调再现。我们推出了 LumaFlux,这是第一个物理和感知引导扩散 Transformer (DiT),通过采用大型预训练 DiT 进行 SDR 到 HDR 重建。我们的 LumaFlux 引入了 (1) 物理引导适应 (PGA) 模块,该模块通过低秩残差将亮度、空间描述符和频率线索注入注意力; (2) 感知交叉调制 (PCM) 层,通过视觉编码器特征的 FiLM 调节来稳定色度和纹理; (3) HDR 残余耦合器,在时间步长和层自适应调制方案下融合物理和感知信号。最后,轻量级有理二次样条解码器重建平滑、可解释的色调场以进行高光和曝光扩展,从而增强 VAE 解码器的输出以生成 HDR。为了实现强大的 HDR 学习,我们策划了第一个大规模 SDR-HDR 训练语料库。为了公平和可重复的比较,我们进一步建立了一个新的评估基准,包括HDR参考和相应的专家分级的SDR版本。在所有基准测试中,LumaFlux 均优于最先进的基准,以最少的附加参数实现卓越的亮度重建和感知色彩保真度。