论文

GitHub 上 MCP 实现的大规模数据集

A Large-Scale Dataset of MCP Implementations on GitHub

模型评测基准与评测资源

摘要

模型上下文协议(MCP)的迅速出现引入了将 大语言模型 连接到外部工具和服务的新标准。尽管 MCP 在开源开发中被迅速采用,但对 MCP 如何实施、构建和维护的系统理解仍然有限。本研究提出了直接从 GitHub 收集的第一个大规模、基于证据的现实世界 MCP 实施数据集。使用将 GitHub REST 和 GraphQL API 与自定义 Python 验证脚本集成的混合管道,通过多阶段证据检查发现、过滤和验证了 3,238 个候选存储库。每个经过验证的项目都按操作角色(例如客户端、服务器、网关)进行分类,并以可重现的 JSONL 模式导出。对代表性子集的手动审查确认了在 95% 置信水平下的总体精度为 83%,此外还揭示了一组主要用作教育样本、教程或演示模板的存储库。然后应用有针对性的排除规则来删除这些非操作存储库,从而生成包含 2,297 个经过验证的 MCP 项目的最终数据集。分析表明,Python 和 TypeScript 主导 MCP 开发,混合架构成为最常见的设计模式。通过强调透明的验证策略、结构化证据标记和可重复的数据组织,这项工作为研究现实世界的 MCP 生态系统建立了基础基准,并支持未来对更广泛的开发者社区的集成、连接性和兼容性的研究。