论文

FLUX.1 Kontext 的 LoRA 方向提取与可控光照切换

LoRA Direction Extraction for Controllable Light Toggling in FLUX.1 Kontext

模型训练参数高效训练

摘要

我们提出了一种用于流匹配扩散模型的微调方法,旨在实现真实的人造光建模,而不需要大型训练数据集。我们解决可控室内图像编辑的任务,其目标是打开或关闭人造光源,同时保留原始图像的场景几何形状、对象放置、材质和视觉标识。为了实现这一目标,我们将任务分解为两种独立的形式化描述。我们引入了LoRA Direction Training Method,该方法提取了扩散模型流场中LoRA适配器效应的纯方向,并且我们还引入了专门的损失函数以确保逆变换的真实性。此外,生成的增量图用于更精确地调整照明颜色和温度。

FLUX.1 Kontext 的 LoRA 方向提取与可控光照切换的原论文方法或结果图
图 1:我们的方法与 LightLab 的光激活方法之间的定性比较。