MGPO：用于任务感知数据集蒸馏的流形引导扩散对齐

摘要

基于扩散的数据集蒸馏（DD）存在基本的目标不匹配问题：似然驱动的扩散模型优先考虑密度近似，而不是下游任务所需的判别性决策边界。除了语义不匹配之外，仅仅依赖密度也会导致几何覆盖损失，生成的样本会崩溃为一些高密度模式，并且无法覆盖流形的结构多样性。我们提出了流形引导的策略优化（MGPO），它将 DD 重新表述为多目标强化学习问题，并通过像素空间判别奖励和由类最小生成树（MST）引导的潜在空间几何奖励实现双空间对齐。判别性奖励强制执行类可分离性，而基于 MST 的几何奖励鼓励生成的潜变量覆盖每个类的稀疏几何骨架，共同解决两种故障模式。我们进一步提供了一种激发基于 MST 的奖励的理想化分析，包括 Hausdorff 近似界限和独立于数据集大小的子采样界限。奖励模块化设计通过替代冻结的任务奖励模型扩展到结构化任务，例如对象检测和分割。大量实验表明 MGPO 始终优于现有方法，包括在低预算设置下的分割获得 +8.0% mIoU。

MGPO：用于任务感知数据集蒸馏的流形引导扩散对齐的原论文方法或结果图 — 图 2：拟议 MGPO 框架概述。 (a) 像素奖励（$r_{\text{disc}}$）是根据分类、检测和分割等下游目标计算的，鼓励语义正确性和任务一致性。 (b) MST奖励（$r_{\text{geo}}$）是在潜空间中构建的。真实数据集特征由编码器编码并通过 PCA 投影以获得结构化的潜在表示。构建 kNN 图来近似局部邻域结构，然后使用最小生成树 (MST) 来捕获全局流形拓扑。生成的潜在样本与这种流形结构对齐，从而提高了代表性和结构一致性。