论文

OptSkills:通过基于聚类的蒸馏从问题原型学习可泛化的优化技能

OptSkills: Learning Generalizable Optimization Skills from Problem Archetypes via Cluster-Based Distillation

智能体系统上下文与知识记忆Agent SkillsAgent记忆

摘要

利用大语言模型(LLM)从自然语言自动构建并求解优化问题,已成为自动优化的高效范式。然而,现有方法的泛化能力仍然有限:它们对表层的叙述变化敏感,经验复用主要停留在个案层面,并且难以适应发生偏移或新出现的问题类型。我们提出 OptSkills,一个以原型为中心、面向优化建模与求解的技能学习与推理智能体系统。为提升稳健泛化,该系统依据问题的底层原型而非表层叙述对问题进行聚类。为提升分布内泛化,它在每个聚类内探索多样的建模范式与求解器配置,再将成功轨迹蒸馏为可复用的工作流级技能。为提升分布外泛化,它利用新获取的轨迹对既有技能进行精炼或扩展技能库。我们的系统在涵盖多样问题类型与场景的数据集上取得 68.27% 的最先进微平均(micro-averaged)准确率。此外,在极具挑战性的大规模高维基准 MIPLIB-NL 上,它取得 26.91% 的准确率,领先 DeepSeek-V3.2-Thinking 4.53%。在 Nano-CO 上完成技能学习后,它在 OOD NLCO 基准上达到 72.79%。代码与技能已发布于 https://github.com/fujiwaranoM0kou/OptSkills。

OptSkills:通过基于聚类的蒸馏从问题原型学习可泛化的优化技能:论文配图
图 2:OptSkills 概述。 OptSkills 分为三个阶段。第一阶段:(1) 问题原型表示,(2) 求解器组合推出,(3) 轨迹分析,以及 (4) 基于集群的技能蒸馏构建初始技能库 ℳ0\mathcal{M}_{0}。第二阶段:对于一个新问题,技能选择器将其路由到(5)技能细化或(6)技能扩展,产生学习的技能库ℳ*\mathcal{M}^{\ast}。第三阶段:所选技能指导考试时推理。