论文

流图蒸馏的几何感知时间重参数化

Geometry-Aware Time Reparameterization for Flow-Map Distillation

摘要

流图蒸馏通过学习预训练生成ODE的有限时间转移实现一步与少步生成。我们研究改变教师的时间参数化能否使这些转移更易学习。基于"法向加速度大的轨迹段更难蒸馏"的假设,我们提出几何感知的时间重参数化,在保持教师几何路径与终端分布的同时为这些区域分配更多学生时间。我们推导在适当假设下均衡总体法向加速度统计量的共享时钟,并由跨教师轨迹的鲁棒正则化估计构造实用近似;将该时钟纳入拉格朗日流图蒸馏,以变换后的时间坐标条件化学生。时钟在蒸馏前估计一次,既不需教师重训也无需额外学生参数或推理时网络评估。合成数据、CIFAR-10与CelebA-64上的实验显示,匹配推理预算下样本质量优于恒等时间蒸馏,包括一步与两步图像生成的改善;在无法调整中间采样时刻的一步生成中的增益尤其凸显了蒸馏期时间重参数化的好处。