论文

超越平均表现:LLM辅助演化搜索中的动态实例聚类与专用算法设计

Beyond Average Performance: Dynamic Instance Clustering and Specialized Algorithm Design in LLM-Assisted Evolutionary Search

模型推理推理搜索与路径规划

摘要

大语言模型辅助进化搜索(LES)作为一种强大的自动算法设计方法,已经崭露头角。然而,现有的LES方法主要侧重于平均性能优化,这导致搜索努力集中在对这一指标贡献最大的实例上,而其他实例则未能得到充分服务,从而导致尾部鲁棒性不足和实际世界的可靠性受限。为解决这一限制,我们提出了一种动态实例聚类与专门算法设计(DyCA)的LES框架,该框架具有无结构化、结构化的机制,在异构实例分布下构建可靠的算法组合。DyCA将实例聚类视为搜索过程中一个可演化的核心组件,利用累积的评估数据作为无结构化信号,逐步将相似于算法响应模式的实例划分为不同的群组。揭示的簇将混合目标分解为一系列结构化的子目标,从而允许更细致和更具适应性的专门算法设计指导。在四种异构实例分布下的算法设计任务上进行实验结果表明,DyCA优于当前最先进的LES基准,平均提高了15.2%的尾部鲁棒性,并提升了7.1%的整体性能,同时保持了与头部相当的表现。

超越平均表现:LLM辅助演化搜索中的动态实例聚类与专用算法设计:论文配图
图 1:异构环境下 LES 范式的概念比较。上图:EoH-S 依赖于平均引导的互补管理,这会导致多数主导偏差。中:InstSpecHH [16] 通过实例专门化减轻了偏差,但受到预定义特征的限制。底部:DyCA 执行无特征、基于行为的动态实例空间分析,从而实现偏差感知的专门算法设计。雷达图突出了 DyCA 的多维优势,特别是在尾部稳健性方面。