论文
KV-Skill：用模型的母语锻造专业知识
KV-Skill: Forging Expertise in the Model's Native Language
摘要
任务知识通常存储为提示中的文本或模型权重的更新。文本是模块化的，但必须在每次使用时进行解释，而权重调整使得最终的功能难以独立加载、删除或共享。我们引入了 KV-Skill，一个外部因式分解运算符的设计空间，冻结的语言模型通过轻量级接口进行读取。 KV-Skill 支持两条互补路径。注册将创作的文本技能转换为文本派生的运算符，并训练共享的每骨干接口。奖励学习直接根据任务结果开发紧凑的潜在算子，无论是否具有编写的技能。这两个路径都不会向提示添加位置。在来自三个模型系列的十个基准和四个主干中，将文本转换为 KV-Skill 始终使相同的程序知识更加有效。在 Qwen3.5-4B LiveMath 上，配准准确度达到 77.2，而源文本技能的准确度为 23.4，SkillOpt 的准确度为 52.0，SoftSkill 的准确度为 64.5。在匹配的奖励训练和参数预算下，KV-Skill 在针对软前缀、前缀调整和 LoRA 的八个匹配设置中的七个中给出了最佳结果。事后排名分析进一步表明，文本派生运算符几乎保留了每个注入层一个任务对齐方向的所有优势，而匹配的随机方向则失败了。最后，一个共享界面保留了三项可独立加载的 KV 技能，而不会出现明显的遗忘。这些结果表明，任务知识可以从文本或经验中获取，压缩到外部算子中，并与主干网分开部署。代码位于：https://github.com/shawnzhg/KV-Skill