使用基于多代理 LLM 的知识图提取框架支持系统测试：以太网交换机系统案例研究

技术文档包含丰富的领域知识，用于自动化下游任务（例如系统测试）。虽然本文重点关注以太网交换机配置手册（ESCM），但我们提出了一个可以适应不同工业环境的通用框架。 ESCM 为以太网交换机测试提供了宝贵的领域知识，但其半结构化格式、隐式步骤属性和复杂的部分依赖性使它们难以直接用于测试自动化。为了解决这个问题，我们生成知识图 (KG)，以结构化形式从 ESCM 捕获配置知识。我们提出了一个基于 LLM 的多智能体框架，该框架使用细粒度 KG 模式和迭代提取-评估-改进 (EEI) 循环从 ESCM 中提取、评估和改进 KG。我们对 50 个现实世界 ESCM 的评估表明，我们的框架使用原始提示实现了较高的提取正确性，三个提取任务的平均正确性得分在 0.97 到 0.99 之间。对于具有挑战性的 ESCM，EEI 循环通过特定于手动的提示细化进一步提高了正确性。此外，LLM 判断和人类评估显示出基本一致，所有提取任务中 Cohen 的 kappa 至少为 0.72。最后，行业测试人员的反馈表明，生成的知识图谱可以支持为下游测试生成有用且正确的测试用例规范（TCS）。