先思考再绘制：扩散模型的递归潜在推理

扩散模型可以生成逼真的图像，但通常无法完成视觉推理任务，例如填写数独或绘制穿过迷宫的路径。当离散符号表示可用时，诸如微型递归模型（TRM）之类的递归方法甚至可以解决这些难题的困难实例。我们询问如何将这种推理转移到没有可用符号表示的像素上。我们提出 Painter-Thinker (PaTh)：一个小型递归网络（Thinker）对学习标记网格进行推理，这些标记对噪声图像和条件进行编码，在每个去噪步骤中细化潜在状态，并通过 ControlNet 适配器引导冻结扩散模型（Painter）。 Thinker 仅使用标准重建损失进行训练，没有符号目标、求解器或验证器。 Path 解决了 92.5% 的 MNIST 数独难题（之前最好的 75%）和 71.2% 的极端难题（之前最好的 4.1%），其参数为 10M，而标准扩散模型为 82M。它还对具有指定空间关系的迷宫、皇后区和 CLEVR 场景进行了改进，并且其优势随着问题的规模而增长。诊断实验表明，PaTh 可从扩散模型无法修复的注射错误中恢复，尤其是当许多细胞出现错误时。总之，这些结果表明，为符号数据开发的推理机制可以在没有符号监督的情况下集成到像素空间扩散中，从而为在日益复杂的约束下生成数据开辟了道路。