Ishigaki-IDS-Bench：根据 BIM 信息需求生成信息交付规范的基准

建筑信息模型 (BIM) 项目越来越多地使用信息交付规范 (IDS) 以机器可检查的 XML 格式形式化信息需求。由于 IDS 条件以行业基础类 (IFC) 词汇为基础，因此编写它们需要 IFC 概念、验证工具和属性集约定方面的专业知识。现有的结构化生成基准无法充分体现 IDS 所带来的词汇一致性和外部验证器协议的额外负担。我们推出了 Ishigaki-IDS-Bench，这是第一个公开发布的根据 BIM 信息需求生成 IDS 的基准。该基准包含 166 个示例，涵盖 83 个实际场景，由六位 BIM/IDS 专家用日语和英语编写，每个示例都配有黄金 IDS 文件和元数据，涵盖输入格式、转弯设置、目标 IFC 版本和施工领域。评估分两个阶段进行：(i) 通过buildingSMART IDSAuditTool 根据可处理性、结构和内容对形式有效性进行评分，以及(ii) 通过方面级宏F1 针对黄金IDS 对内容保真度进行评分。在零样本的 10 个 LLM 中，最高 Facet F1 为 65.6%，由 GPT-5.5 实现，而最高 Content 通过率仅为 33.1%，由 Claude Opus 4.5 实现。 Ishigaki-IDS-Bench 在 CC BY 4.0 下在 Hugging Face (DOI 10.57967/hf/8873) 上发布，评估代码在 Apache-2.0 下在 Zenodo (DOI 10.5281/zenodo.20550510) 上发布。