论文

使用 大语言模型 生成流体系统的仿真代码:基准模型和提示策略

Simulation Code Generation for Fluid Systems using Large Language Models: Benchmarking Models and Prompting Strategies

模型评测模型能力评测

摘要

大语言模型 (LLM) 展示了从自然语言规范生成语法正确的代码的强大能力。在本研究中,我们探讨了如何利用 LLM 将流体系统模型的中性图形表示自动转换为两种广泛采用的仿真环境的可执行代码:Python 库 WNTR 和 Modelica 标准库。我们对十种最先进的 LLM 和六种在所提供的上下文信息(例如代码或文档)方面有所不同的提示策略进行了系统比较。对于每种配置,我们使用一套软件质量指标评估生成的代码,并通过重现基准流体系统场景来验证生成的模拟模型的功能保真度。我们的研究结果为寻求将 LLM 驱动的代码综合集成到基于模型的设计流程中的研究人员和工程师提供了具体的指导。虽然性能最佳的配置达到了可接受的语法质量,但我们观察到模拟保真度仍存在很大差距。