论文

伯努利流模型:二进制数据的自洽生成模型

Bernoulli Flow Models: Self-Consistent Generative Modeling for Binary Data

模型推理解码与生成控制推理加速

摘要

二元扩散模型通常需要大量函数评估 (NFE) 来生成高质量样本,这使得实际推理的计算成本很高。在不进行蒸馏或额外培训的情况下保持样品质量的同时减少 NFE 仍然是一项重大挑战。现有的二元扩散模型定义了一条离散的单步前进路径,然后导出反向后验。在需要跨步采样的低 NFE 设置中,它们使用单​​步似然转换来近似真实的多步似然,这严重降低了样本质量。为了解决这一基本限制并将生成动力学与固定离散时间步解耦,我们提出了伯努利流模型(BFM)。 BFM 不依赖顺序的单步马尔可夫扩散链,而是在数据分布和纯噪声之间定义了一种统一的连续全局伯努利概率流路径,从中我们可以得出任意时间间隔内的分析闭合形式后验转移。因此,减少 NFE 推理不再是基于 跳过离散步骤;它只需要在新的时间网格上重新评估分析后验。这消除了离散链固有的结构训练推理不匹配,并产生自洽的低 NFE 采样。实验表明,BFM 对于激进的 NFE 减少具有高度鲁棒性。在 LSUN Churches 256x256 上,经过 256 个步骤训练的 BFM 仅使用 16 个采样步骤即可实现 9.22 的 FID,而最先进的离散基线降级至 204.10。在标准全步推理下,BFM 还与连续和离散生成基线保持竞争力。这些结果将 BFM 确立为一个理论上严谨、自洽且实际上有效的快速二进制数据生成框架。