为什么 DMD 学生很懒？了解几个步骤中的复制行为 蒸馏

分布匹配 蒸馏 (DMD) 通过在所有尺度上对齐噪声分布，将预训练的扩散模型压缩为高效的少步生成器。原则上，这种分布级别的监督对于教师的特定噪声数据配对仍然是不可知的；这为学生提供了重新映射潜在噪声的自由，这是在低维设置中一贯观察到的行为。令人惊讶的是，我们发现在高维环境中，经过蒸馏的学生会自发地再现老师的原始噪声数据配对，我们将这种现象称为复制。我们证明，抄袭既不是对抗性目标的副产品，也不是教师记忆的结果。相反，我们的证据表明，复制是由于学生模型在高维 蒸馏 期间有限的几何自由度而产生的一种新兴属性。