论文

Qwen-Image-Flash:重新思考少步 蒸馏 的训练方法

Qwen-Image-Flash: Rethinking the Training Recipe for Few-Step Distillation

摘要

少步 蒸馏 已成为高级视觉生成基础模型开发中的关键组件,可大幅减少推理开销,同时在广泛的实际场景中实现实时生成和经济高效的部署。然而,之前的工作主要集中在推进训练目标,而相对忽视了训练方法,这在大规模基础模型时代变得越来越重要。在这项工作中,我们系统地重新审视了完善的分布匹配 蒸馏 (DMD) 框架下的文本到图像生成和图像编辑的训练方法,重点关注三个关键维度:训练数据组成、DMD 中的教师指导和任务混合。我们的实证分析揭示了一些非显而易见且违反直觉的现象,最终推动了 Qwen-Image-Flash 的发展。这些发现强调,有效的几步 蒸馏 不仅取决于精心设计的目标,还取决于有原则的训练方案。