论文
LLaMEA-SAGE:以可解释AI的结构化反馈引导自动化算法设计
LLaMEA-SAGE: Guiding Automated Algorithm Design with Structural Feedback from Explainable AI
摘要
大语言模型使自动化算法设计(AAD)成为可能,可以从自然语言提示直接生成优化算法。虽然LLaMEA等演化框架在算法设计空间中展现出强大的探索能力,但其搜索动态完全由适应度反馈驱动,使生成代码中的大量信息未被利用。我们提出一种引导AAD的机制,其反馈基于从生成算法的抽象语法树中提取的图论与复杂度特征,并利用在已评估解的存档上学习的代理模型构建。借助可解释AI技术,我们识别出对性能有显著影响的特征,并将其转化为自然语言的变异指令,在不限制表达能力的前提下引导后续基于LLM的代码生成。我们提出LLaMEA-SAGE,将该特征驱动引导集成进LLaMEA,并在多个基准上进行评估。我们证明,在一个小型受控实验中,所提出的结构化引导比原生LLaMEA更快达到相同性能。在使用GECCO-MA-BBOB竞赛MA-BBOB套件的大规模实验中,我们的引导方法相比最先进的AAD方法取得更优性能。这些结果表明,从代码中导出的信号能够有效偏置LLM驱动的算法演化,弥合自动化算法设计中代码结构与人类可理解性能反馈之间的鸿沟。
