离散扩散中摊销序贯蒙特卡罗的对比分布匹配

离散扩散模型已成为生成结构化分类数据的强大框架。然而，从奖励倾斜分布中有效采样仍然是一个基本挑战。虽然扭曲顺序蒙特卡罗 (SMC) 为该任务提供了渐近精确性，但估计离散状态空间中的最佳扭曲函数需要昂贵的蒙特卡罗近似，从而导致推理时出现严重的计算瓶颈。为了克服这一限制，我们引入了对比分布匹配（CDM），这是一种新颖的框架，通过正样本和负样本学习参数化扭曲函数来分摊 SMC 推理的成本。为了有效训练，我们重新制定梯度估计器以利用离散扩散模型的封闭式前向内核。在实践中，与基础模型的单次前向传递相比，评估我们学习的扭曲函数会产生不到 5% 的额外计算开销。通过广泛的实证评估，我们证明 CDM 在匹配挂钟时间下始终优于现有基线。我们在多种应用中验证了我们方法的有效性和多功能性，包括有毒文本生成、调控 DNA 序列设计、蛋白质可设计性和扩散 大语言模型 比对。