论文
RESOURCE2SKILL:从人工创建的多模式资源中提取可执行代理技能
RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources
摘要
技能是软件代理的有用抽象,将人类和代理的经验转化为可重用的程序知识。然而,现有的技能库大多是手写的、以文本为中心的,或者来自代理跟踪,导致教程视频和其他多模式人力资源基本上没有得到充分利用。我们提出了 RESOURCE2SKILL,这是一个框架,可将多模式资源(包括教程视频、存储库、文章和参考工件)提炼成软件代理的可执行技能。 RESOURCE2SKILL 将这些技能组织为分层多模式技能 Wiki,其中每个条目都结合了结构化文本、代码、视觉示例、元数据和出处。这种设计保留了来自不同资源的互补信号:视频捕获时间操作和视觉效果,代码捕获可执行工具模式,文章或工件提供概念和风格基础。在推理时,智能体从 wiki 中检索并编写相关技能;当覆盖范围不足时,同一施工人员可以在线学习新技能。在七个实际创作领域中,RESOURCE2SKILL 与无技能代理相比,平均总体得分提高了 11.9 个百分点,并且在 28 个主聚合模型域单元中的 26 个中优于强大的控制基线。消融证实了多模式技能格式、分层组织、来源多样性、选择策略和在线获取的价值。