知识蒸馏 用于视觉自回归模型

自回归 (AR) 图像生成模型具有很高的表达能力，但计算量很大，因此可以促进有效的模型压缩。 知识蒸馏 (KD) 是一种自然的模型压缩方法，已在语言建模领域得到广泛研究，但其在视觉 AR 生成中的行为仍未得到充分探索。在这项工作中，我们首次系统地研究了 AR 图像模型的 蒸馏 策略。我们的分析表明，虽然标准 蒸馏 可以产生有意义的收益，但最近为语言开发的方法并不直接转移到图像：较长的解码范围和视觉标记模糊性使教师监督不可靠，尤其是在学生条件下的环境下。为了解决这个问题，我们提出了 VarKD，一种用于视觉自回归模型的 蒸馏 框架，它在提取学生样本的同时有选择地应用教师监督并减少 词元级 模糊性。跨多个 AR 主干网的 ImageNet 实验表明，VarKD 始终优于之前的 蒸馏 基线，缩小了与大型模型的差距。