通过扩散模型中的反事实推理生成稀有概念

稀有概念生成侧重于合成以描述具有不寻常属性的对象的文本提示为条件的定制图像。之前的工作未能将生成的图像与稀有概念对齐，导致属性渲染不正确或概念组成不一致。正如我们所观察到的，此类失败源于扩散模型训练阶段固有的常识偏差，其中对象与其共同属性密切相关，使得在生成稀有概念时很难打破这些关联。为了应对这些挑战，在本文中，我们提出了一种新颖的基于反事实推理的扩散方法，称为 CI-Diff。 CI-Diff阻断了模型固有的常识偏差的干扰，利用自然直接效应捕捉稀有概念的文本提示对图像生成的独立影响，从而将异常属性与稀有概念解耦。为此，我们重新制定了无分类器的指导机制，以突出非典型属性。据我们所知，我们是第一个将因果推理引入罕见概念生成任务的人。 RareBench 基准的大量实验验证了 CI-Diff 相对于最先进的扩散模型的优越性。我们的代码可以从 https://github.com/200204jzy/CI-Diff 访问。