论文

LLM 准备好进行微服务架构中的反模式检测了吗?

Are LLMs Ready for Anti-Pattern Detection in Microservice Architectures?

模型评测模型能力评测

摘要

微服务系统很容易出现反复出现的架构反模式 (AP),从而阻碍可维护性、可演进性和操作质量。大多数现有的 AP 检测方法依赖于静态分析和手工制定的规则,这些方法可能有效,但通常依赖于工具,仅限于显式编码的检测逻辑,并且难以适应异构存储库。在本文中,我们研究 大语言模型 (LLM) 是否准备好通过静态存储库工件上基于提示的分析管道来支持微服务架构中的架构反模式检测。我们在用 16 种架构反模式注释的微服务存储库的策划基准上评估了三个通用 LLM,并使用基于精度和召回率的统一评估协议将它们的性能与最先进的静态分析工具 MARS 进行比较。我们的结果表明,LLM 可以为反模式检测提供有用的支持,在多种反模式上实现有竞争力的性能,特别是当相关证据是本地的、异构的或语义丰富的时候。同时,它们对需要显式结构或跨服务依赖证据的反模式表现出明显的局限性,而静态分析仍然更可靠。这些发现表明,LLM 尚未取代传统分析器,但已经代表了微服务系统架构评估的一种有前景的补充辅助工具。