通过合成曝光包围生成线性图像

照片的生命周期始于光子撞击传感器，其信号通过复杂的图像信号处理 (ISP) 管道，生成显示参考图像。然而，此类图像不再忠实于入射光，动态范围被压缩，并因主观偏好而风格化。相比之下，RAW 图像在非线性色调映射之前记录直接传感器信号。经过相机响应曲线校正和去马赛克之后，它们可以转换为线性图像，这是直接反映真实辐照度并且对传感器特定因素不变的场景参考表示。由于图像传感器具有更好的动态范围和位深度，线性图像比显示参考图像包含更丰富的信息，为用户在后处理过程中留下了更多的编辑空间。尽管有这样的优势，当前的生成模型主要合成显示参考图像，这本质上限制了下游编辑。在本文中，我们解决了文本到线性图像生成的任务：合成高质量的、场景参考的线性图像，该图像保留完整的动态范围，以文本提示为条件，用于专业的后处理。生成线性图像具有挑战性，因为潜在扩散模型中的预训练 VAE 由于较高的动态范围和位深度而难以同时保留极端高光和阴影。为此，我们将线性图像表示为一系列曝光括号，每个曝光括号捕获动态范围的特定部分，并提出一种基于 DiT 的流匹配架构，用于文本条件曝光括号生成。我们进一步演示了下游应用，包括文本引导的线性图像编辑和通过 ControlNet 进行结构条件生成。