论文
用于大规模优化模型自动制定的大语言模型:一种轻量级的少样本学习方法
LLM for Large-Scale Optimization Model Auto-Formulation: A Lightweight Few-Shot Learning Approach
摘要
大规模优化是现代商业决策的关键支柱。然而,构建这些模型通常是劳动密集型且耗时的。我们通过提出 LEAN-LLM-OPT 来解决这个问题,这是一个 LightwEight AgeNtic 工作流程构建框架,用于 LLM 辅助的大规模 OPTimization 自动配方。 LEAN-LLM-OPT 将问题描述以及相关数据集作为输入,并协调 LLM 代理团队来生成优化公式。具体来说,在收到查询后,两个上游 LLM 代理动态构建一个工作流程,逐步指定如何制定类似问题的优化模型。然后,下游 LLM 代理遵循此工作流程生成最终输出。利用大语言模型的文本处理能力和通用建模实践,工作流程将建模任务分解为一系列结构化子任务,并将机械数据处理操作卸载到辅助工具。这种设计减轻了下游代理与规划和数据处理相关的负担,使其能够专注于难以标准化的最具挑战性的组件。大量的仿真表明,用 GPT-4.1 和开源 gpt-oss-20B 实例化的 LEAN-LLM-OPT 在大规模优化建模任务上取得了强大的性能,并且与最先进的方法具有竞争力。此外,在新加坡航空基于选择的收入管理用例中,LEAN-LLM-OPT 通过在一系列场景中实现领先的性能展示了实用价值。在此过程中,我们引入了 Large-Scale-OR 和 Air-NRM,这是第一个大规模优化自动制定的综合基准。这项工作的代码和数据可在 https://github.com/CoraLiang01/lean-llm-opt 获取。
