论文

在软件工程中开发基于 LLM 的多代理系统:混合方法经验报告

Developing LLM-based Multi-Agent Systems in Software Engineering: A Mixed-Method Experience Report

智能体系统Agent任务评测

摘要

由 大语言模型 (LLM) 支持的生成式人工智能 (Gen AI) 的激增改变了软件开发流程,引入了代码生成、调试、测试和维护的新范例。虽然早期的应用程序侧重于利用单个独立的 LLM 来帮助开发人员完成孤立的任务,但最近的进展已经转向多代理系统 (MAS),该系统协调多个基于 LLM 的代理协同工作以实现共同目标。尽管其潜力巨大,但使用 MAS 给开发人员带来了一系列挑战,他们必须仔细选择正确的技术,设计适当的协调规则,并为所涉及的代理设计特定的角色。在本文中,我们全面概述了在软件工程中实现 MAS 的现有工具和框架。首先,我们从开发人员的角度评估了最相关的开源 MAS 框架的文档、特性和功能,对它们进行了定量分析。其次,我们通过实现一个常见用例(README.MD 文件的摘要)对所选框架的子集进行定性评估。研究结果表明,所选框架很好地覆盖了 MAS 的基本组件,但仍然缺少代理遥测等高级功能。此外,实证评估表明,考虑到摘要任务,ROUGE 分数没有显着差异。最后,我们提供了一系列经验教训和挑战,可以帮助研究人员和从业者根据自己的需求选择合适的 MAS 框架。