一步离散生成的耦合模型

对离散结构的生成建模支撑着深度学习的应用，从生物序列设计和代码生成到 大语言模型，但生成通常保持顺序，依赖于自回归解码或迭代细化。在这项工作中，我们引入了耦合模型（Coupling Models），这是一种一步离散生成模型，可以学习离散序列和高斯潜伏之间的直接耦合。与最近将预训练的多步采样器压缩为几个步骤的 蒸馏 方法不同，耦合模型训练专用解码器来反转这种耦合并在单个步骤中生成样本。该模型还避免了单纯形和手动指定的数据与噪声耦合上的复杂连续流。根据经验，耦合模型改进了每个领域中最强的一步基线：它在最低困惑度操作点将 LM1B 文本生成困惑度降低了 33%，将 Fly Brain 增强器设计 FBD 降低了 18%，将 MNIST-Binary FID 降低了 46%。这些结果表明，有效的一步离散生成很大程度上取决于解码前数据和噪声的耦合方式。代码可在 https://github.com/pengzhangzhi/Coupling-Models 获取。