论文
DCR:稀有组合生成的反事实吸引子指南
DCR: Counterfactual Attractor Guidance for Rare Compositional Generation
摘要
扩散模型可以生成逼真的视觉内容,但通常无法生成罕见但合理的组合。当提示有效但在训练数据中代表性不足的组合(例如白雪皑皑的海滩或夜间的彩虹)时,生成过程经常会崩溃,转向更常见的替代方案。我们将这种失败模式识别为默认完成偏差,其中去噪轨迹隐式地被高频语义配置吸引。现有的指导机制没有明确模拟这种竞争趋势,因此很难防止这种崩溃。我们引入了默认完成排斥(DCR),这是一个 无需训练 框架,它显式地建模和抑制默认完成行为。 DCR 通过放松罕见的组成因素同时保留周围的语义来构造反事实吸引子,从而引入反映模型首选完成的替代去噪轨迹。我们将目标轨迹和吸引子轨迹之间的差异定义为反事实漂移,并提出一种基于投影的斥力机制,消除与该漂移方向对齐的引导组件。这可以抑制不需要的频繁完成,同时保留其他语义组件。 DCR 完全在标准扩散采样过程中运行,无需重新训练或架构修改。对罕见构图提示的实验表明,DCR 可以提高构图保真度,同时保持视觉质量。我们的分析进一步表明,该框架暴露并抵消了内在模型偏差,为超越显式约束执行的可控生成提供了新的视角。