论文
OR-Space:面向工业优化智能体的全生命周期工作区基准
OR-Space: A Full-Lifecycle Workspace Benchmark for Industrial Optimization Agents
摘要
大语言模型(LLM)智能体越来越多地被用于辅助运筹学(OR)建模,但现有面向OR的基准往往把评估简化为一次性翻译:将自包含的问题陈述转成数学形式化或求解器程序。这类设定忽略了真实工业OR工作流的两个特征:持久的多工件工作区和多阶段任务生命周期。我们提出OR-Space,一个用于评估工业优化智能体的全生命周期工作区基准,覆盖模型构建、模型修订和有据解释。每个实例都是一个可执行工作区,包含业务文档、结构化数据、可选代码工件、求解器输出以及分布在相互依赖文件中的任务专属评估器。OR-Space定义了三种任务模式:Build(构建),智能体从异构工件中构建可供求解器使用的优化模型;Revise(修订),智能体在需求变化或求解器反馈下修改现有模型,同时保留有效的既有逻辑;Explain(解释),智能体利用散布于工作区各工件中的证据,回答关于解、约束和业务影响的有据问题。通过将持久工作区与面向生命周期的任务相结合,OR-Space评估智能体能否在端到端文本生成之外执行可靠的优化工作。我们描述了基准设计、评估协议与质量控制流程,并将OR-Space定位为研究LLM智能体在工业OR工作流中可靠性、失败模式与实用就绪度的基准。
