论文
评估 Agentic-AI 生态系统中的工具克隆
Evaluating Tool Cloning in Agentic-AI Ecosystems
摘要
代理工具正在成为 LLM 代理访问外部数据、服务和执行环境的核心接口。由于这些工具是通过公共市场分发的,如果许多存储库被克隆、轻微修改或从共享模板派生,原始工具数量可能会大大夸大生态系统的多样性。这种隐藏的重复可能会污染基准分割、传播易受攻击的实现、工具使用泛化的偏差测量,并引发出处、归属和知识产权问题。据我们所知,我们首次对代理人工智能生态系统中的工具克隆进行了大规模测量研究。我们从多个公共平台整理了一个统一的数据集,涵盖 7,508 个模型上下文协议 (MCP) 存储库(包含 87,564 个提取的工具)和 1,353 个技能存储库(包含 12,447 个工具),总共有 8,861 个存储库和 100,011 个工具条目。为了测量实现级重复,我们使用互补的词汇和模糊结构相似性指标构建存储库级审核管道,并计算 MCP 到 MCP、技能到技能和 MCP 到技能存储库对之间的成对相似性。我们进一步跨相似性得分桶手动验证每个 MCP 和技能生态系统的 100 个采样对,以校准高相似性反映真实代码克隆的频率。我们的分析表明,克隆并不是一个孤立的产物:在比较设置中出现了高相似性区域,并且 MCP 生态系统中 60% 的高 Jaccard 候选者和 85% 的高 ssdeep 候选者被手动验证为克隆。这些结果表明,工具克隆是代理工具生态系统中隐藏重复的普遍且严重的来源。他们进一步建议,在衡量工具多样性或构建评估划分时,代理工具数据集和基准应考虑存储库出处和实现相似性。