论文

IndustryCode:行业代码生成基准

IndustryCode: A Benchmark for Industry Code Generation

模型评测基准与评测资源

摘要

大语言模型(LLM)的代码生成和理解已成为工业智能和决策优化的核心驱动力,在金融、自动化、航空航天等领域得到广泛应用。尽管最近的进展证明了 LLM 在通用代码生成方面的巨大潜力,但现有的基准测试主要局限于单一领域和语言。因此,它们无法有效评估现实工业应用所需的泛化能力或反映复杂工业场景所需的编码能力。为了弥补这一差距,我们推出了 IndustryCode,这是第一个旨在跨越多个工业领域和编程语言的综合基准。 IndustryCode 包含源自 125 个主要工业挑战的 579 个子问题,并附有严格的问题描述和测试用例。它涵盖金融、自动化、航空航天、遥感等广泛领域,并融合了 MATLAB、Python、C++ 和 Stata 等多种编程语言。在我们的评估中,表现最好的模型 Claude 4.5 Opus 在子问题上的总体准确率达到 68.1%,在主要问题上的总体准确率达到 42.5%。基准数据集和自动评估代码将在接受后公开发布。