开源项目

Unsloth:新增跨模型MoE训练内核

unslothai/unsloth

模型训练模型架构MoE监督微调与指令调优

概述

Unsloth是面向大模型高效微调训练的开源框架,采用Apache-2.0许可,README提供安装说明。二月Release引入新的Triton与数学内核,实质改变训练机制,并新增跨模型的MoE训练内核,使多类模型的MoE结构训练获得支持,而非仅适配单一模型。做微调的团队升级后,训练路径与内核实现均有变化,建议在自有模型与数据上复测显存占用、吞吐与收敛表现,确认无回归后再合入生产训练流程。