借助LLM的进化分阶段设计推进自动化算法设计

摘要

随着人类科学技术的快速进步，工业场景中的问题日益具有挑战性，给传统算法设计带来重大挑战。基于LLM的自动化算法设计应运而生，成为有前景的方案，但当前采用的黑盒建模剥夺了LLM对目标问题内在机制的任何感知，导致幻觉式设计。本文提出进化分阶段算法设计（EvoStage），一种弥合工业规模算法设计严格需求与基于LLM算法设计方法之间差距的新型进化范式。受CoT启发，EvoStage将算法设计过程分解为顺序的、可管理的阶段，并整合实时中间反馈以迭代细化算法设计方向。为进一步缩小算法设计空间并避免陷入局部最优，我们引入多智能体系统与"全局-局部视角"机制。我们将EvoStage应用于两类常见优化器的设计：为芯片布局设计Adam优化器的参数配置调度，以及为黑盒优化设计贝叶斯优化的采集函数。跨开源基准的实验结果表明，EvoStage仅需少数几步进化即可超越人类专家设计与现有基于LLM的方法，甚至在所有受测芯片案例上都取得历史最优的半周长线长（HPWL）结果。此外，部署于商业级3D芯片布局工具时，EvoStage显著超越原有性能指标，实现破纪录的效率。我们希望EvoStage能显著推进现实世界中的自动化算法设计，助力提升人类生产力。

借助LLM的进化分阶段设计推进自动化算法设计：论文配图 — 图 1：EvoStage 概述。左上部分是局部透视算子（即Stagewise-Design算子）的直观图示，其中算法设计任务由LLM协调器代理自动分解，协调器反映中间信息（以芯片布局为例，表示为“Inter布局”）并给出下一阶段的指导，NN LLM编码器代理根据协调器的指导产生NN算法组件（一个编码器负责一个组件）一步一步。左下部分是两个全局视角算子的直观图示。 Global-Explore 算子是提示编码器使用选定的参考一次性生成一种新颖的多阶段启发式算法，而 Global-Enhance 算子是提示编码器使用选定的参考一次性生成更好的多阶段启发式算法。右侧部分是多阶段启发式种群，它保留了 MM 算法。每个算法都分为 NN 个组件，每个组件都作为多阶段启发式实现。当从总体中选择算法时，我们为 NN 组件选择相应的 NN 多阶段启发式算法，并从中组装出完整的算法。 EvoStage执行从群体中选择父算法、通过算子再现新的后代算法、以及更新群体以保留更好的算法的迭代过程，其目标是迭代改进群体中维护的算法，并最终生成高性能算法。