论文

代理技能下游适配的实证研究

An Empirical Study of Downstream Adaptation for Agent Skills

模型评测智能体系统Agent Skills模型行为与机制分析

摘要

随着 大语言模型 (LLM) 代理成为现代软件系统的组成部分,“技能”已成为软件重用的新单位,使开发人员能够打包工作流程、决策过程和基于提示的策略。虽然技能是为了重用,但下游开发人员经常修改已发布的技能以适应当地环境,但人们对这种改编的本质知之甚少。本文首次对公共分叉中的下游技能适应进行实证研究,以了解如何适应已发布的技能,并为研究人员和工程师改进技能设计、进化和编排提供启示。具体来说,我们分析了来自 6 个广泛采用的技能存储库的 1,126 个技能适应实例,并开发了一个分类法,其中包括 13 个系列的 46 种适应模式。我们的主要发现揭示了一个重用悖论:虽然技能旨在轻松导入和重用,但开发人员花费了大量精力重写技能的功能,修复技能的可发现性,并将其翻译为不同的工具和语言,这表明需要更好的抽象、标准化接口和对技能适应的自动化支持。此外,适应是高度相互依赖的,一个组件的更改通常需要其他地方的协调更新,从而激发自动支持来检测不一致的修改。我们还发现,近五分之一的改编在管理行为的同一指令文本中引入了安全敏感内容。