SLAD：共享LoRA适配器的任务特定蒸馏

资源受限环境需要将较小基础模型适配到下游任务，任务特定蒸馏将同系列大模型的知识迁移到小模型。通常先微调或线性探测教师，再蒸馏学生；虽然微调提高教师表现，已有研究却发现线性探测更利于学生学习。本研究将其归因于教师微调造成的教师学生特征表示失配，先使用低秩适配保持对齐，再在联合训练中共享两个编码器的适配器参数。SLAD改善特征对齐，同时提高学生与教师表现，相对全量微调训练约快两倍。多项分类与分割实验显示准确率与迁移效率改善，在任务特定蒸馏框架中达到领先表现。