开源项目

ms-swift v4.5.3扩展多模态蒸馏输入

modelscope/ms-swift

概述

ms-swift 是模型训练与微调框架,本次更新涉及教师模型向学生模型传递能力的蒸馏流程。 OPD蒸馏支持教师与学生使用独立视觉输入,并补充模型适配与Megatron训练能力。