ARIA：条件扩散的基于自适应区域的重要性分配蒸馏

摘要

提炼条件扩散模型的目的是将大老师的行为转移到小学生身上，同时保持条件输入之间的一致性。与识别任务不同，条件扩散中的知识蒸馏通常难以将知识转移到训练分布之外，因为预测的噪声很大程度上取决于条件信号。因此，有效的蒸馏需要探索较大的调节空间。在实际设置中，这会造成一个主要瓶颈。配对的图像条件数据可能是有限的，并且为每个可用条件生成合成图像在计算上通常是不可行的，而条件池（例如文本提示）可能非常大。最近的工作通过在训练期间切换条件来解决这个问题，让学生接触更广泛的调节空间，而不改变蒸馏目标。然而，这提出了一个补充问题：一旦有大量的条件语料库可用，训练工作应该如何分配？在这项工作中，我们引入了 ARIA，这是一个框架，可以在调节空间的粗略区域中自适应地分配训练工作。通过维护地区层面师生差异的在线估计，ARIA 重点更新存在偏差的地方，同时保留原始的蒸馏目标。根据经验，ARIA 在大多数架构和设置中都比 RC 有所改进，在看不见的和代表性不足的制度中观察到最明显的收益。我们还提供了理论分析，表明所提出的跟踪机制遵循有界方差和漂移假设下训练期间不断变化的差异。