论文

LLM驱动的具有可控高层性质的连续优化问题设计

LLM Driven Design of Continuous Optimization Problems with Controllable High-level Properties

模型推理推理搜索与路径规划

摘要

连续黑盒优化的基准测试受到现有测试套件(如BBOB)结构多样性有限的阻碍。我们探索嵌入进化循环的大语言模型能否用于设计具有明确定义的高层地形特征的优化问题。使用LLaMEA框架,我们引导LLM根据目标属性(包括多峰性、可分离性、盆地大小同质性、搜索空间同质性以及全局-局部最优对比)的自然语言描述生成问题代码。在循环内,我们通过基于ELA的属性预测器对候选评分。我们引入ELA空间适应度共享机制,提高种群多样性并引导生成器远离冗余地形。互补的吸引盆地分析、统计检验和目视检查验证了许多生成函数确实表现出预期的结构特征。此外,t-SNE嵌入显示它们扩展了BBOB实例空间,而非形成无关聚类。所得函数库为地形分析和自动算法选择等下游任务提供了广泛、可解释且可复现的基准问题集。

LLM驱动的具有可控高层性质的连续优化问题设计
图1:用于生成可解释优化问题的三步 LLaMEA 流程概览:(1) 定义问题属性并训练机器学习模型,以从 ELA 特征预测这些属性;(2) 将预测模型与基于 LLM 的生成器结合使用,创建展现这些属性的问题;(3) 验证所生成的问题确实呈现期望的特征。