论文

通过温度采样和方差校正时移使扩散多样化

Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting

模型推理解码与生成控制

摘要

扩散模型忠实地再现了其训练分布,但也继承了其不平衡性,并使罕见或代表性不足的模式难以达到。一种自然的推理时间补救措施是从高温目标 $p^{(γ)}_0(x) \propto p_0(x)^γ$ 中进行采样,其中 $0 < γ< 1$,这会展平主导模式并提升稀有模式。然而,在正确重新加权模式的同时,天真的分数缩放也会增大每个模式的方差,破坏反向扩散过程并降低样本质量。我们引入了方差校正时移,这是一种 无需训练 修复,它以偏移的时间步长查询网络,并将结果分数按 $γ$ 缩放,取消方差膨胀,同时保留模式重新加权。该校正将简单的温度采样变成了一个实用的多样性旋钮,用于预训练的扩散和流量匹配主干,无需重新训练,并且我们证明了以最小的成本在 DiT、稳定扩散和运动扩散模型中的采样质量和条件保真度方面获得了一致的增益。我们进一步表明,温度干预的时机可以实现从粗到细的控制:高噪声阶段驱动跨模式的成分多样性,而低噪声阶段驱动固定成分下的局部外观变化。