通过分阶段教师模型的多模态数据集 蒸馏

多模态数据集 蒸馏 旨在构建紧凑的合成数据集，从而实现大规模图像文本数据的高效压缩和知识转移。然而，现有的方法通常无法捕获教师模型后期训练阶段中嵌入的复杂、动态演变的知识。这种限制会导致学生成绩下降并损害提取数据的质量。为了解决明显的跨阶段绩效差距和不稳定的教师轨迹等关键挑战，我们提出了具有快捷轨迹的分阶段教师模型（PTM-ST）——一种新颖的分阶段 蒸馏 框架。 PTM-ST 利用阶段感知教师建模和基于快捷方式的轨迹构建策略，准确地适应教师在不同训练阶段的学习动态。这增强了 蒸馏 流程的稳定性和表现力。通过理论分析和综合实验，我们表明 PTM-ST 显着减轻了优化振荡和阶段间知识差距，同时还减少了存储开销。我们的方法始终超越 Flickr30k 和 COCO 上最先进的基线，在 Flickr30k 上实现了高达 13.5% 的绝对改进和 9.53% 的平均增益。代码：https://github.com/Previsior/PTM-ST。