学习扩散模型中的照明控制

控制图像中的照明对于摄影和视觉内容创作至关重要。虽然闭源模型已经展示了令人印象深刻的照明控制，但开源替代方案要么需要深度图等大量控制输入，要么不发布其数据和代码。我们提出了一个完全开源且可复制的管道，用于学习扩散模型中的照明控制。我们的方法构建了一个数据引擎，将照明良好的图像转换为由照明不良的输入图像、自然语言照明指令和照明良好的输出图像组成的监督训练三元组。我们根据这些数据微调扩散模型，并证明在感知相似性、结构相似性和身份保留方面比基线 SD 1.5、SDXL 和 FLUX.1-dev 模型有显着改进。我们的工作提供了一个完全使用开源工具和公开数据构建的可复制解决方案。我们公开发布所有代码、数据和模型权重。