思维像素：多模态扩散潜伏中的递归稀疏推理

扩散模型在高保真数据合成方面取得了成功，但它们进行更复杂、结构化推理（例如文本跟踪任务）的能力仍然受到限制。虽然语言模型的进步利用了潜在推理和递归等策略来增强文本理解能力，但由于视觉标记的连续性和非离散性，将这些扩展到多模式文本到图像生成任务具有挑战性。为了解决这个问题，我们从模块化人类认知中汲取灵感，并提出了一种集成到传统扩散模型中的递归、稀疏专家混合框架。我们的方法在联合注意层中引入了递归组件，该组件在多个潜在步骤上迭代地细化视觉标记，同时通过神经模块的稀疏选择有效地共享参数。在每个步骤中，设计了一个门控网络来动态选择专门的神经模块，以当前视觉标记、扩散时间步长和条件信息为条件。对类条件 ImageNet 图像生成任务的综合评估以及对 GenEval 和 DPG 基准的额外研究证明了该方法在增强模型图像生成性能方面的优越性。