EngiWorld：前沿Agent可以在专业工程环境中提供什么？

自主Agent在通用计算机的使用方面取得了快速进展，但专业工业工程的可靠自动化仍然遥不可及，因为工程工作流程需要对软件和设计阶段保留的几何和物理约束以及依赖关系进行推理。我们推出了 EngiWorld，这是第一个围绕完整设计循环构建的基准：涵盖 6 个工程领域（CAD、CAE、CAM、BIM、EDA 和 3D 可视化）的 1,301 个专家策划的任务和 26 个专业软件平台，具有 GUI 和 CLI 界面以及从软件选择到开放式任务的 6 种任务类型。我们进一步引入了一种基于统一域验证器套件的以工件为中心的评估方法，该方法以编程方式检查最终和中间工件的几何有效性、物理可行性和规则合规性，并通过规范达到而不是二元成功来连续对定量设计任务进行评分。对七个前沿模型的评估揭示了巨大的能力差距：最强模型的 EngiScore 仅达到 44.3，并且只有 3.6% 的多软件尝试成功。 EngiWorld 为衡量端到端运行专业工程软件的Agent的进度提供了第一个严格的基础。