利用基础模型进行因果生成建模

因果生成模型对于开发能够进行反事实推理的可靠且透明的人工智能系统至关重要。虽然现有方法侧重于在生成模型的训练过程中整合因果约束，但它们通常缺乏统一的框架来利用预训练基础模型的零样本推理能力。我们引入了 FM-CGM，这是一种使用预训练基础模型进行端到端视觉因果推理的模块化框架。 FM-CGM 通过三个核心组件形式化因果管道：概念提取器、概念操纵器和反事实生成器。通过利用大型推理模型进行因果推理和文本到图像扩散模型进行生成，我们的方法可以实现零样本因果发现、干预和反事实生成。然后，我们开发了因果语义指导（CSG），这是一种基于交叉注意的机制，可确保语义干预传播到后代概念，同时保留不变区域。我们凭经验表明，我们的方法可以识别合理的因果结构，并且适合忠实的反事实图像生成。