BC-Bench：使用 ERP 领域特定语言评估代理工程

代理工程系统在通用基准测试中表现出强大的性能，但其在企业资源规划 (ERP) 领域特定语言 (DSL) 方面的有效性仍未得到充分探索。我们推出 BC-Bench，这是一个基准测试，旨在评估 AL（Microsoft Dynamics 365 Business Central 的 DSL）中实际任务的代理工程。 BC-Bench 包含从 Microsoft 拥有的两个生产存储库中提取的 101 个手动策划的任务，反映了真实的 ERP 开发工作流程。我们采用 SWE-Bench 方法，解决了 AL 生态系统的独特限制——包括有限的公共资源和复杂的环境配置。除了生成功能代码之外，BC-Bench 还评估测试生成并支持通常存在视觉上下文的多模式问题陈述。我们评估两个代理工具的多个前沿模型，利用多运行指标来解释不确定性。在错误修复类别中，在我们评估的设置下，模型之间的分辨率差异大于两个评估的代理工具之间的差异，并且通用基准测试报告的改进并不总是转移到 AL。这些结果凸显了针对特定领域进行评估的必要性。