使用 大语言模型 进行状态机建模的结构和事件驱动框架

UML状态机设计是软件工程中的一个关键过程。传统上，状态机是由经验丰富的工程师根据自然语言要求手动制作的，这是一个耗时且容易出错的过程。存在许多自动化方法，但它们需要结构化的 NL 要求。在本文中，我们研究了当前 大语言模型 通过专门的状态机框架 (SMF) 根据非结构化 NL 需求完全自动化 UML 状态机生成的功能。我们使用单步和多步提示方法评估两种最先进的 LLM：非推理 LLM GPT-4o 和注重推理的 LLM Claude 3.5 Sonnet，并引入一种新颖的混合方法，该方法使用单提示基线的输出作为初始草案状态机，然后通过单模光纤。在我们的研究中，基于人类方法开发了两种不同的 SMF：(i) 结构驱动的 SMF，其中状态机组件（状态、转换、防护、动作等）按顺序步骤生成，以及 (ii) 事件驱动的 SMF，其中识别的事件迭代地指导状态机构建。我们的实验表明，虽然 LLM 展示了从单提示基线生成状态机模型的良好能力（例如，使用 Claude 3.5 Sonnet 的状态 F1 分数为 0.90，转换为 0.75），但它们的性能对于完全自动化的解决方案来说还不够充分（例如，守卫的 F1 分数为 0.23，动作的 F1 分数为 0.00）。 GPT-4o）。我们提出的混合方法将非推理 LLM (GPT-4o) 的性能提高到与推理 LLM (Claude 3.5 Sonnet) 类似的水平，但没有进一步改进推理 LLM。我们的评估强调了当前 LLM 在自动化状态机设计方面的潜力和局限性，为该领域的未来研究提供了基线。