SkillSmith：学习编写参数化技能和文本知识

由 大语言模型 (LLM) 驱动的代理系统通常具有两个关键机制来自主解决复杂问题：根据过去的经验合成基于文本的知识和程序，并为重复的子目标构建参数（权重空间）技能库。迄今为止，研究在很大程度上将这些视为正交追求：要么通过组合和反思来组织文本知识，要么通过权重空间合并来巩固参数技能。因此，文本和模型权重的无缝集成以实现有针对性的性能改进在很大程度上仍未得到探索。这项工作通过将模型权重视为 LLM 本身可以推理的附加模态来弥补这种模态差距。我们通过前缀调整实例化参数学习，并增强 LLM 以摄取前缀权重和丰富的文本数据，以捕获与目标功能的关系。我们的增强型 LLM（我们称之为 SkillSmith）合成这些输入以执行指令引导的参数合成，直接输出体现目标技能的新前缀权重。我们证明，我们的方法显着优于纯文本和纯权重空间基线，解锁了单模态（纯文本或纯权重）适应无法达到的性能提升。