Prompt2Skill：自然语言指令的无监督技能优化

技能是大语言模型 (LLM) 在推理时消耗的外部工件，通过结合相关的过程和领域知识来提高其在专业领域的性能。专家编写的技能的生产成本很高，并且生成的工件并未针对使用它们的特定模型进行优化，其故障模式可能会因版本、规模和训练而异。此外，新出现的任务可能超出现有技能库的范围，从而需要在提供精选的训练数据之前开发新技能。最近的工作通过反射探索了自动化技能优化，但它们需要精心策划的分布内训练集，而用户可能并不总是拥有这些训练集。为了解决这些限制，我们提出了 Prompt2Skill，一个仅根据自然语言任务描述构建技能的框架。根据提示，系统得出任务规范，发现或综合数据集，并在反思性编辑的闭环中完善技能。在问答、阅读理解、电子表格操作和数学推理等四个领域中，Prompt2Skill 始终优于直接提示基线，在开源和前沿模型中平均提高了 10.8。