论文
红色技能还是蓝色技能?深入探讨 ClawHub 上发布的技能
Red Skills or Blue Skills? A Dive Into Skills Published on ClawHub
摘要
技能生态系统已成为 大语言模型 (LLM) 代理系统中越来越重要的层,支持可重用的任务打包、公共分发和社区驱动的能力共享。然而,尽管公共技能注册中心增长迅速,但其功能、生态系统结构和安全风险仍未得到充分探索。在本文中,我们对 ClawHub(一个大型代理技能公共注册中心)进行了实证研究。我们构建并标准化了包含 26,502 种技能的数据集,并对它们的语言分布、功能组织、流行度和安全信号进行了系统分析。我们的聚类结果显示出明显的跨语言差异:英语技能更以基础设施为导向,以 API、自动化和记忆等技术能力为中心,而中文技能更以应用为导向,具有更清晰的场景驱动集群,如媒体生成、社交内容生产和金融相关服务。我们进一步发现,超过 30% 的爬取技能被可用平台信号标记为可疑或恶意,而相当一部分技能仍然缺乏完整的安全可观察性。为了研究早期风险评估,我们仅使用发布时可用的信息来制定提交时技能风险预测,并构建 11,010 项技能的平衡基准。在 12 个分类器中,最佳 Logistic 回归的准确度为 72.62%,AUROC 为 78.95%,主要文档成为信息最丰富的提交时间信号。我们的研究结果将公共技能注册中心定位为代理能力重用的关键推动者和生态系统规模安全风险的新表面。