论文
OSOR:用于效果感知对象移除的一步扩散修复
OSOR: One-Step Diffusion Inpainting for Effect-Aware Object Removal
摘要
由于两个关键困难,现实世界的对象去除具有挑战性:目标对象的非局部效果,例如难以建模的阴影和反射,以及用户提供的蒙版通常不准确或不完整。基于数十亿个参数和数十个去噪步骤,基于扩散的模型以大量计算成本为代价实现了强大的去除性能,限制了它们在交互式应用程序和边缘设备上的使用。为了应对这些挑战,我们提出了 OSOR(一步对象删除),它同时实现了高效、效果感知和掩模鲁棒的对象删除。具体来说,OSOR引入了:(1)用于精确边界监督的占用引导鉴别器,实现稳定的单步扩散训练; (2) 一个 alpha 头,利用预训练扩散模型的知识以最小的开销预测适当的去除区域,从而处理不完美的掩模; (3) 语义锚定验证管道 (SAVP),可过滤基于指令的噪声三元组,以大规模产生效果感知监督。使用 SAVP,我们整理了 CORNE,其中包含 28 万个经过验证的删除对,并进一步注释 AnimeEraseBench 和 TextEraseBench 以评估更复杂的删除任务的性能。实验表明,OSOR 在感知质量方面超越了强大的多步扩散基线,同时实现了 4 倍到 30 倍的更快推理速度。