论文
LumaGuide:扩散模型中 无需训练 HDR 生成的分布整形
LumaGuide: Distribution Shaping for Training-Free HDR Generation in Diffusion Models
摘要
预训练的扩散模型可以生成逼真的图像,但受到训练数据统计偏差的限制,限制了它们生成高动态范围 (HDR) 内容的能力。在这项工作中,我们介绍了 LumaGuide,这是一个用于扩散模型中的分布整形的 无需训练 框架。 LumaGuide 不是修改模型参数,而是通过可微分的基于能量的指导来引导采样过程来匹配目标特征分布。我们通过控制感知均匀 PQ 空间中的亮度分布来实例化这个 HDR 生成框架。我们的结果表明,对齐亮度直方图足以诱导 HDR 一致的行为,包括连贯的高光和保留的阴影细节,同时保持语义保真度。除了 HDR 之外,LumaGuide 还可以通过数据驱动的预设、参考图像或文本驱动的预测器来灵活指定目标分布,并自然地扩展到具有时间一致性约束的视频生成。更广泛地说,我们的工作表明,可以通过在采样时直接塑造输出分布来实现可控生成,而无需重新训练扩散模型。