用关系抽象增强扩散模型的空间推理

扩散模型擅长图像合成，但它们可靠地满足结构化空间推理约束的能力仍然有限。在具有隐式逻辑结构的条件数据分布建模任务中，例如由可见线索与一致解决方案配对定义的谜题，最先进的生成模型倾向于近似像素空间分布，而不需要学习推理所需的底层逻辑规则。为了解决这一限制，我们提出了一种利用扩散模型进行空间推理的新颖框架，该框架利用无监督的对象发现和对象关系的抽象。我们表明，从以对象为中心的表示中导出的关系知识通过结构原语丰富了扩散模型，使它们能够在训练和推理过程中有效地指导生成表示空间，并能够生成满足推理约束的条件图像。此外，我们还引入了一个大规模生成空间推理基准，其中包含四个受人类可解决难题启发的数据集。我们的 结果表明，关系抽象显着提高了扩散模型在各种复杂推理任务上的推理能力，同时在分布外设置中实现了稳健的泛化。