论文
RADIANCE:使用 IP 适配器进行相对自适应去噪,以增强新概念
RADIANCE: Relative Adaptive Denoising with IP-Adapter for Novel Concept Enhancement
摘要
文本到图像(T2I)扩散模型已经取得了惊人的进展,但仍然难以合成涉及不寻常的属性-对象配对的稀有概念,这通常会导致概念遗漏或语义漂移,其中主导实体压倒了一代。将这些失败归因于去噪轨迹期间缺乏成分平衡,我们提出了 RADIANCE,这是一个 无需训练 框架,它将推理视为闭环反馈过程。 RADIANCE 通过三个模块化组件增强了预训练的主干:(1)组合相似性监视器(CSM),通过基于 CLIP 的反馈跟踪中间潜在对象和属性的出现; (2) 双向标度控制器 (BSC),它使用正负 IP 适配器标度施加反作用“恢复力”,以重新平衡偏置轨迹; (3) 反馈指导调度程序 (FGS),无需额外训练即可跨时间步协调这些更新。我们通过延迟适配器激活(DAA)和分层交替指导(LAG)进一步将框架扩展到多对象提示,以防止过早的概念融合。通过流水线执行重叠监控和降噪,RADIANCE 保持有竞争力的延迟,同时显着提高每个样本的成功率和有效吞吐量。 RareBench 和 T2I-CompBench 上的实验表明,RADIANCE 在最先进的基线上持续增强构图一致性和感知质量。