SMCEvolve：基于序贯蒙特卡洛进化的有原则的科学发现

摘要

LLM驱动的程序进化已成为自动化科学发现的有力工具，但现有框架既未为各组件设计提供有原则的指导，也无法保证搜索收敛。我们提出SMCEvolve，将程序搜索重构为从奖励倾斜的目标分布中采样，并用序贯蒙特卡洛（SMC）采样器进行近似。由此视角，三种核心机制作为有原则的组件自然浮现：自适应父代重采样、带接受的混合变异，以及自动收敛控制。我们进一步给出有限样本复杂度分析，为达到目标近似误差所需的LLM调用预算给出上界。在数学、算法效率、符号回归与端到端机器学习研究基准上，SMCEvolve在自行决定终止的条件下以更少的LLM调用超越了最先进的进化系统。代码可在 https://github.com/kongwanbianjinyu/SMCEvolve 获取。

SMCEvolve：基于序贯蒙特卡洛进化的有原则的科学发现：论文配图 — 图 1：LLM 驱动的项目演变，旨在通过顺序蒙特卡罗 (SMC) 实现奖励倾斜分布。等值线描绘了程序空间上的分布；每个白点是进化群体中的一个粒子（程序），虚线圆圈标记高奖励区域。从 LLM 先验 p0p_{0}（左）提取的粒子开始，其中高奖励区域很少被覆盖，LLM 驱动群体转向新程序，形成一系列桥接分布 p0eβtR(x)p_{0}\,e^{\beta_{t}R(x)}，奖励强度 βt\beta_{t} 不断增加，并最终集中于目标p0eβTR(x)p_{0}\,e^{\beta_{T}R(x)} （右）。与临时管道相比，这产生了具有收敛保证的原则性演化框架 SMCEvolve。