FLARE：基于 LLM 的多代理系统的代理覆盖引导模糊测试

多代理 LLM 系统 (MAS) 已被采用，通过将任务分解为子任务来自动化复杂的人工工作流程。然而，由于 LLM 代理的非确定性行为以及代理之间复杂的交互，MAS 应用程序经常遇到故障，包括无限循环和失败的工具调用。由于缺乏LLM代理规范、MAS庞大的行为空间以及基于语义的正确性判断，传统的软件测试技术无法有效检测此类故障。本文介绍了 FLARE，一种专为 MAS 量身定制的新型测试框架。 FLARE 以 MAS 的源代码作为输入，并从代理定义中提取规范和行为空间。根据这些规范，FLARE 构建测试预言机并进行覆盖引导的模糊测试以暴露故障。然后分析执行日志来判断每个测试是否通过并生成失败报告。我们对 16 个不同的开源应用程序的评估表明，FLARE 实现了 96.9% 的代理间覆盖率和 91.1% 的代理内覆盖率，分别比基线高出 9.5% 和 1.0%。 FLARE 还发现了 56 个 MAS 特有的以前未知的故障。