通过线性探测实现整流流的最优自蒸馏

现代生成模型越来越多地使用模型生成的信号进行训练，这既创造了自我完善的机会，也创造了崩溃的风险。我们研究整流流 (RF) 的最佳自 蒸馏 (SD)：给定次优教师速度场，接受真实 RF 速度和教师速度混合训练的学生是否可以证明提高教师水平？对于固定插值对上具有岭正则化的线性 RF，我们证明了精确的仿射路径恒等式，推导了封闭形式的最佳混合系数，并在教师风险沿正则化路径非平稳时显示了积分速度风险的严格改进。最优系数遵循符号规则：正混合纠正正则化不足的教师，而负混合纠正过度正则化的教师。我们还提供了一次性广义交叉验证（GCV）和验证调整程序，避免了混合权重上的网格搜索和重复重新拟合。将该定理与 RF Wasserstein 收敛界相结合，我们表明最优自 蒸馏 改进了控制连续时间和有限步生成误差的速度估计项。高斯模型、高斯混合和图像数据的实验表明，相对于教师和纯 蒸馏，最优自 蒸馏 改善了速度风险、模态恢复和有限步生成。