论文
BIM-Edit：面向基于IFC的建筑信息建模的LLM基准
BIM-Edit: Benchmarking Large Language Models for IFC-Based Building Information Modeling
摘要
大语言模型（LLM）日益应用于计算机辅助设计（CAD）以从文本指令生成设计工件。在工程实践中——这要求的不只是创建新几何：模型还必须理解既有场景、正确编辑它们——并保持语义与关系。但许多CAD基准聚焦创建新模型而非编辑既有模型——且大多评估几何正确性。我们介绍BIM-Edit——评估LLM对以工业基础类（IFC）格式表示的建筑信息模型（BIM）做自然语言编辑的基准。BIM提供挑战性试验台——因为建筑模型把几何与语义及关系结构一起编码。BIM-Edit含横跨11个真实建筑模型与36个合成场景的324个编辑任务。任务以三类指令表达——直接、空间与拓扑——覆盖显式与场景锚定编辑。我们沿三维评估输出：几何准确、语义有效与拓扑一致。跨受评LLM——最佳模型在三指标上的平均分仅49.5%——没有任何模型完整解决超过3.4%的任务。这些结果表明当前LLM能力与结构化工程设计工作流要求之间的巨大差距。
