是什么让 LLM 成为一个好的优化器？ LLM引导进化搜索的轨迹分析

最近的工作证明了在进化和代理优化系统中协调 大语言模型 (LLM) 的前景。然而，驱动这些优化收益的机制仍然知之甚少。在这项工作中，我们提出了 LLM 引导的进化搜索的大规模研究，收集了 8 个任务中 15 个 LLM 的优化轨迹。尽管零样本问题解决能力与最终优化结果相关，但它只能解释部分差异：具有相似初始能力的模型通常会产生截然不同的搜索轨迹和结果。通过分析这些轨迹，我们发现强大的 LLM 优化器表现为局部细化器，产生频繁的增量改进，同时逐步将搜索定位在语义空间中。相反，较弱的优化器表现出较大的语义漂移，出现零星的突破，然后停滞不前。值得注意的是，解决方案新颖性的各种衡量标准并不能预测最终性能；仅当搜索仍然充分集中在解空间的高性能区域周围时，新颖性才是有益的。我们的结果强调了轨迹分析对于理解和改进基于 LLM 的优化系统的重要性，并为其设计和训练提供了可行的见解。