论文
从文本到 DSL:使用 Open LLM 评估基于语法的模型生成
From Text to DSL: Evaluating Grammar-Based Model Generation Using Open LLMs
摘要
大语言模型 (LLM) 在自动化模型驱动的软件工程任务方面显示出越来越大的潜力,特别是在从自然语言生成符合领域特定语言 (DSL) 的模型方面。虽然大多数现有方法依赖于大型专有模型,但其高成本和有限的可部署性阻碍了更广泛的采用。在本文中,我们评估不同大小(0.5B 到 32B 参数)的开源 LLM 是否可以仅使用几次提示来生成符合 DSL 的模型,而无需任何 微调。我们的评估重点关注关键的模型驱动工程 (MDE) 要求,包括语法有效性、语义完整性和模型间引用一致性。我们扩展了之前的工作,从在固定的、预定义的数据模式(“数据模型”)上生成用户界面模型(在本文中称为“UI 模型”)转向完全从头开始生成 UI 和数据模型。这种转变有两个目的:首先,它强调了 LLM 推断特定领域关系并在多个互连模型之间保持一致性的能力;其次,它使我们能够通过跨不同性质和结构角色的模型测试 DSL 生成来概括早期的发现。我们的结构化评估结合了 39 个 LLM 的自动解析和专家反馈,揭示了几个紧凑模型(例如 \texttt{gemma3:12b}、\texttt{mistral:7b-instruct})接近或匹配更大模型的质量。这些发现证明了在 MDE 工作流程中使用较小的开源 LLM 生成符合语法的 DSL 的可行性,为封闭的 LLM 提供了一种经济有效且可部署的替代方案。