RawGen：学习相机原始图像生成

相机捕获场景相关的线性原始图像，这些图像由板载图像信号处理器 (ISP) 处理为显示相关的 8 位 sRGB 输出。尽管原始数据更适合底层视觉任务，但收集大规模原始数据集仍然是一个主要瓶颈，因为现有数据集有限且与特定相机硬件相关。生成模型提供了一种解决这种稀缺性的有希望的方法 - 然而，现有的扩散框架旨在合成照片完成的 sRGB 图像，而不是物理上一致的线性表示。据我们所知，本文介绍了 RawGen，这是第一个基于扩散的框架，可以为任意目标相机实现文本到原始数据的生成，以及 sRGB 到原始数据的反转。 RawGen 利用大规模 sRGB 扩散模型的生成先验，通过潜在空间和像素空间中的专门处理来合成物理上有意义的线性输出，例如 CIE XYZ 或相机特定的原始表示。为了处理扩散 模型训练 数据中未知和多样化的 ISP 管道和照片洗印效果，我们构建了一个多对一逆 ISP 数据集，其中使用不同 ISP 参数生成的同一场景的多个 sRGB 渲染被锚定到一个共同的场景参考目标。 微调 该数据集上的条件降噪器和专用解码器允许 RawGen 获得以相机为中心的线性重建，从而有效地反转渲染管道。我们展示了 RawGen 相对于假设固定 ISP 的传统逆 ISP 方法的卓越性能。此外，我们还表明，使用 RawGen 的可扩展、文本驱动的合成数据增强训练管道可以使下游底层视觉任务受益。