扩散模型的类频引导噪声表

在本文中，我们首次研究了扩散模型中类别频率与多尺度噪声表之间的相关性。对于基于分数的生成模型，低密度区域通常会导致分数估计不准确，从而影响生成质量。尽管多尺度噪声调度可以在扩散过程中缓解这个问题，但低频类仍然面临大的低密度区域的挑战，导致估计分数比高频类更不准确。此外，高频类别往往在分数空间中占主导地位，导致大多数数据点收敛到从这些类别生成样本。因此，低频类别中生成的样本表现出次优的质量和有限的多样性。为了应对这一挑战，我们提出了\textit{类频率引导（CFRG）}噪声计划，利用低频类应该被赋予更大范围噪声的见解。为了说明我们方法的有效性，我们使用不平衡数据集 \textit{i.e.}、CIFAR-100-LT 和 ImageNet-LT 对各种任务进行实验，包括图像生成、图像分类和文本到图像生成。通过采用 CFRG 噪声表，我们在基线上取得了实质性改进，体现了频率统计在噪声表设计中的关键作用。