论文

ReLo-IRR:用于图像反射消除的反射引导 LoRA 框架

ReLo-IRR: Reflection-Guided LoRA Framework for Image Reflection Removal

模型训练参数高效训练

摘要

单图像反射去除(SIRR)旨在从反射污染的图像中恢复干净的传输层。尽管最近的方法通过大型扩散模型取得了有希望的结果,但它们依赖于与图像无关的适应策略,例如 微调 或 ControlNet,无论反射严重程度如何,都强制执行统一抑制。因此,强反射通常会留下残差,而弱反射则会造成细节损失。为此,我们提出了 ReLo-IRR,这是一种基于修正流模型构建的反射引导 LoRA 框架。首先,设计了一个轻量级估计器来预测反射强度描述符,为每个图像提供明确的反射优势先验,并实现图像相关的 LoRA 调制。其次,我们引入了一种时间条件机制,将反射描述符与时间步嵌入融合在一起,使 LoRA 调制能够与从粗到细的去噪过程一致地发展。通过联合建模反射强度和降噪动力学,我们的 ReLo-IRR 实现了对不同反射条件的稳健抑制。在具有挑战性的基准上进行的大量实验验证了 ReLo-IRR 的有效性,展示了卓越的去反射性能和强大的泛化能力。代码发布于https://github.com/KONGBAI-8080/ReLo-IRR。