离散扩散模型中从全局到因子专家组合

离散扩散模型为解决复杂的推理任务提供了强大的框架，特别是通过组合生成，它结合了多个预先训练的专家来概括超越他们的个人训练数据。最近的理论修正引入了与时间相关的混合权重，以更好地将组合扩散动力学与预期目标对齐。然而，这些方法从根本上受到限制，因为它们在每个样本的基础上工作，整体处理每个生成的状态并忽略不同专家的潜在空间或功能专业化。在这项工作中，我们通过提出 FactorDiff - 扩散模型的按因子组合框架来解决这一限制。我们假设样本可以进一步分解为更小的因素，并提出一种采样过程，将每个因素动态路由到最相关的专家。我们用空间/像素级组合实例化这个框架，并在 ARC-AGI 基准上对其进行验证，证明简单的特定因素路由在需要逻辑一致性和空间解缠的任务上始终优于复杂的全局标量加权方案。