DIVER：通过表达语义恢复更深入地研究蒸馏数据

数据集蒸馏旨在从原始数据集中合成一个不可读或非原始的紧凑代理数据集，以实现隐私保护和高效学习。然而，以前的方法通常采用单阶段 蒸馏 范式，该范式会受到学习与先前架构过度拟合的特定模式的影响，从而抑制语义的表达并导致跨异构架构的性能下降。为了解决这个问题，我们提出了一种名为${\textbf{DIVER}}$的新型双阶段蒸馏框架，它利用预先训练的扩散模型来深入研究$\textbf{DI}$静止数据$\textbf{V}$ia$\textbf{E}$表达语义$\textbf{R}$ecovery，即语义继承、指导和融合的整个过程。语义继承将抽象蒸馏图像的高级语义提炼到潜在空间中，以过滤掉特定于体系结构的“噪声”并保留内在语义。此外，语义指导通过指导反向过程来改善原始语义的保存。最后，语义融合旨在仅在反向过程的具体阶段提供语义指导，防止语义歧义和伪影，同时保留指导信息。大量实验验证了 DIVER 在改进经典方面的有效性和效率。 蒸馏 技术并显着提高了跨架构泛化能力，所需的处理时间与 ImageNet 上的原始 DiT (256$\times$256) 相当，且仅使用 4 GB 的 GPU 内存。代码如下：https://github.com/einsteinxia/DIVER。