论文

Skill Weaving:基于模块化skillpack的高效LLM改进

Skill Weaving: Efficient LLM Improvement via Modular Skillpacks

模型训练参数高效训练

摘要

大语言模型日益需要跨多领域的专精能力,然而现有方法难以在多领域能力与严格的内存及推理约束之间取得平衡。本工作提出SkillWeave,一个模块化改进框架,使LLM能在固定内存预算下实现专精。SkillWeave把通用模型的完整能力划分为skillpack——轻量级的领域特定delta模块——它们重组并精炼模型的内部知识。为高效部署,SkillWeave集成SkillZip,把skillpack压缩为紧凑且可直接推理的格式,以低延迟执行实现强劲的多领域性能。在多任务与智能体基准上,9B的SkillWeave模型优于多个基线,甚至超越32B的单体LLM,同时实现最高4倍加速。

Skill Weaving:基于模块化skillpack的高效LLM改进:论文配图
图 1:SkillWeave 框架概述。顶部部分展示了完整的流程,包括两个阶段:(1)通过基于偏好的训练将整体语言模型分解为特定于任务的技能向量,以及(2)使用结构化量化将每个技能包压缩为推理友好的形式。底部部分演示了代理式服务场景下的集成和推理过程。从整体上看,该图展示了SkillWeave如何重新组织和细化模型的内部知识结构,以平衡性能增益和参数效率。