论文
使 OpenAPI 文档代理做好准备：使用多代理 LLM 系统检测文档和 REST 气味
Making OpenAPI Documentation Agent-Ready: Detecting Documentation and REST Smells with a Multi-Agent LLM System
摘要
AI 代理和模型上下文协议 (MCP) 的日益普及促使组织将现有 REST API 公开为代理可使用的工具。在我们的工业环境中，该计划针对的是由 16 个生产 API 组成的生态系统，其中包含大约 600 个端点。尽管这些 API 很稳定并在微服务架构中广泛使用，但早期的概念验证实验揭示了通过基于 MCP 的代理访问时任务规划、工具选择和有效负载构建方面的系统性故障。我们没有将这些失败仅仅归因于模型的局限性，而是对底层 OpenAPI 文档进行了生态系统规模的实证评估。我们开发了 Hermes，这是一个基于 LLM 的多代理系统，可以在端点级别检测文档和 REST 相关的气味并生成可解释的诊断报告。大规模评估发现了 600 个端点的 2,450 种气味，所有分析的操作中都存在缺陷。从业者验证证实与检测到的问题高度一致，同时也揭示了补救决策中的上下文权衡。研究结果表明，微服务环境中的结构有效性并不能保证基于代理的消费的语义准备就绪。根据这些证据，该组织修改了其采用策略，优先考虑选择性端点适应，重新定义文档标准，并将自动化文档评估集成到 API 治理工作流程中。该案例说明了系统性工件级评估如何充当战略决策支持机制，降低技术风险并指导工业软件生态系统中基于证据的人工智能采用。