论文
Skill Weaving:基于模块化skillpack的高效LLM改进
Skill Weaving: Efficient LLM Improvement via Modular Skillpacks
摘要
大语言模型日益需要跨多领域的专精能力,然而现有方法难以在多领域能力与严格的内存及推理约束之间取得平衡。本工作提出SkillWeave,一个模块化改进框架,使LLM能在固定内存预算下实现专精。SkillWeave把通用模型的完整能力划分为skillpack——轻量级的领域特定delta模块——它们重组并精炼模型的内部知识。为高效部署,SkillWeave集成SkillZip,把skillpack压缩为紧凑且可直接推理的格式,以低延迟执行实现强劲的多领域性能。在多任务与智能体基准上,9B的SkillWeave模型优于多个基线,甚至超越32B的单体LLM,同时实现最高4倍加速。
