用于在 LLM 驱动优化中解耦结构和参数的混合嵌套Harness

在由语言模型支持的进化算法中，LLM 充当单个算子，同时更新结构组件（如控制流）和连续参数。虽然 LLM 在第一个方面可能很好，但在第二个方面效率不高，浪费了在试错循环中进行离散跳转的词元。我们通过形式化混合嵌套搜索来解决这个问题，其中外部循环让 LLM 提出带有数字间隙的结构草图，并且内部数值优化器调整草图。外部和内部求解器都是可插入的：任何基于文本的优化器都可以与零阶优化器 (CMA-ES)、基于梯度的例程或 MCMC 采样器结合使用。我们在三个科学领域验证了我们的框架：（i）封闭式测试函数的元优化器，（ii）用于系统研究和社会困境的基于代码的策略； (iii) 近似贝叶斯推理任务。在这三者中，混合优化器优于普通 LLM 驱动的搜索和纯数值优化基线。代码位于：https://github.com/vicgalle/hybrid-nested-search