LLM 引导程序发现的进化多任务优化

最近的 LLM 引导的进化搜索方法表明，迭代程序突变可以发现强大的算法，但它们通常独立优化每个任务，即使相关任务共享可重用结构也是如此。我们为 LLM 引导的程序发现引入了进化多任务优化（EMO），并提出了 EMO-STA（共享然后适应），这是一个两阶段框架，首先在任务系列中发展可执行程序的共享存档，然后使选定的共享候选者适应每个目标任务。在 EMO-STA 中，我们探索了多种适应策略，包括从共享存档热启动、调整最佳平均共享程序以及调整在每个目标任务上表现最佳的共享程序。在涵盖连续优化、几何构造、建模和算法优化的八个任务系列中，EMO-STA 在大多数设置中改进了匹配计算单任务演化，其中 STA Best-Local 提供了最强的分布内适应，而 STA Best-Shared 则为未见过的任务提供了稳健的迁移。计算分配实验表明，将家庭级预算的很大一部分分配给共享进化始终是有益的，大致平衡的共享和适应预算通常是最佳的。除了计算效率之外，我们还表明，共享进化可以通过支持跨所有任务泛化的程序而不是利用特定于任务的脆弱工件来减轻低证据设置（例如训练数据较少）中的过度拟合，包括 ARC 任务和时间序列特征工程。