技能新词：走向基于技能的持续学习

现代 LLM 展现了对不断增长的技能范围的掌握，以及灵活组合这些技能的能力。然而，以可扩展的方式将模型功能扩展到新技能是一个悬而未决的问题：微调 和参数有效的变体存在灾难性遗忘的风险，而基于上下文的方法的表达能力有限，并且受到模型有效上下文的限制。我们探索技能新词——集成到模型词汇中的软标记，并进行优化以提高特定技能的能力——作为一种无需权重更新就有选择地获取新技能的方法。我们首先观察到预训练的 LLM 已经表现出与程序知识相关的标记。然后，我们在受控合成任务中证明，可以学习技能新词来提高特定技能的模型能力，同时可以与分布外技能组合，并且可以零样本地组合独立训练的技能新词。最后，我们在 Skill-Mix 基准的更现实的自然语言设置上验证了独立学习的技能新词的零样本组合。这些结果表明，技能新词可能为基于技能的持续学习提供可扩展的途径。