阐明扩散中的表示退化问题模型训练

摘要

扩散模型取得了巨大的成功，但由于严重的优化瓶颈（我们称之为表示退化），它们的训练仍然效率低下。随着噪声水平的增加，训练模型的输出会表现出渐进的结构失真，这可能会破坏训练的稳定性并损害生成质量。我们的分析表明，这种不稳定性是由目标可恢复性不匹配造成的，这与神经正切核（NTK）谱弱化和有效的低秩行为有关。为了解决这个问题，我们提出了阐明表示扩散（ERD），这是一种即插即用的框架，可以根据有效的可恢复性动态地重新分配优化工作。通过在没有外部监督的情况下稳定表示学习，ERD 加速收敛并在扩散主干上实现强大的实证性能。