关于扩散模型一致性蒸馏的记忆

扩散模型是现代生成建模的核心，了解它们如何平衡记忆和泛化对于可靠部署至关重要。最近的研究表明，扩散模型中的记忆是由训练动态决定的，在训练的不同阶段会出现泛化和记忆。然而，部署的扩散模型通常会被进一步提炼，引入额外的训练阶段，其对记忆的影响尚不清楚。在这项工作中，我们以一致性 蒸馏 作为代表性框架，分析了 蒸馏 如何重塑扩散模型中的记忆行为。根据经验，我们表明，当应用于已记忆数据的教师模型时，一致性 蒸馏 显着减少了学生的转移记忆，同时保留甚至有时提高了样本质量。为了解释这种行为，我们使用随机特征神经网络模型 [Bonnaire et al., 2025] 进行了理论分析，表明一致性 蒸馏 抑制了与记忆相关的不稳定特征方向，同时保留了稳定的、可泛化的模式。我们的研究结果表明，蒸馏 不仅可以作为加速工具，还可以作为改善记忆泛化权衡的机制。