论文
Qwen-BIM：以领域专用基准与数据集开发面向 BIM 设计的大语言模型
Qwen-BIM: developing large language model for BIM-based design with domain-specific benchmark and dataset
摘要
随着建筑业推进数字化转型，基于 BIM（建筑信息模型）的设计已成为支撑智能建造的关键驱动力。尽管大语言模型（LLM）在促进 BIM 设计方面已显示潜力，特定数据集与 LLM 评估基准的缺乏显著制约了 LLM 的表现。因此，本文通过提出以下内容填补这一空白：1) 一个面向 BIM 设计的评估基准及相应的量化指标，用于评估 LLM 性能；2) 一种从 BIM 生成文本数据并构建相应 BIM 衍生数据集的方法，用于 LLM 评估与微调；3) 一种使 LLM 适应 BIM 设计的微调策略。结果表明，所提出的领域专用基准能够有效、全面地评估 LLM 能力，并凸显通用 LLM 仍不能胜任领域特定任务。同时，借助所提基准与数据集开发出的 Qwen-BIM 相比基座 LLM 的 G-Eval 得分平均提升 21.0%。值得注意的是，Qwen-BIM 仅 14B 参数，在 BIM 设计任务上的表现可与 671B 参数的通用 LLM 相当。总体而言，本研究通过引入全面的基准与高质量数据集，开发了首个面向 BIM 设计的领域专用 LLM，为各领域开发 BIM 相关 LLM 奠定了坚实基础。