通过异构编辑重组克服 LLM 驱动的程序优化中的最弱链接效应

大语言模型 (LLM) 越来越多地用于通过搜索程序空间来解决复杂问题，为可以自然地表示和解决为程序的科学问题提供了通用范例。尽管最近取得了进展，但为候选程序确定有效的优化方向仍然具有挑战性。通过与自动微分进行类比，现有方法通常使用文本“梯度”来指导搜索：表示为文本编辑的一阶更新方向。此类梯度可以从先前评估的程序中推断出来，也可以从 LLM 生成的关于隐式程序分数映射的反馈中推断出来。然而，随着程序分数映射变得更加复杂，这些估计变得越来越不可靠，限制了它们的实际用途。我们认为显式梯度对于有效的程序优化并不重要。利用他们的先验知识，LLM 可以直接从当前程序提出合理的原子编辑，从而实现零阶优化策略。然而，零阶搜索会受到\textit{弱链接效应}的影响：当一组编辑作为一个整体被接受或拒绝时，单个有害编辑可能会抵消所有剩余编辑的好处。为了解决这个问题，我们引入了 HERO，这是一个程序优化器，它提示 LLM 生成多样化的、不重叠的原子编辑，然后使用评估器分数系统地选择它们并将其组合成连贯的程序改进。我们评估 HERO 的算法问题、策略游戏、基于 LLM 的代理系统的设计以及机器人路径规划。在这些领域中，HERO 始终如一地发现得分更高的程序，并且比之前基于 LLM 的优化器收敛得更快，同时消耗更少的词元。