论文

DeltaEvolve:通过动量驱动演化加速科学发现

DeltaEvolve: Accelerating Scientific Discovery through Momentum-Driven Evolution

上下文与知识上下文工程

摘要

LLM 驱动的演化系统已为自动化科学发现展现前景,但 AlphaEvolve 等现有方法依赖完整代码历史,上下文效率低下且可能提供较弱的演化引导。在本工作中,我们首先将演化 Agent 形式化为一个一般的期望最大化(EM)框架:语言模型采样候选程序(E 步),系统基于评估反馈更新控制上下文(M 步)。在此视角下,用完整代码快照构建上下文构成次优的 M 步,因为冗余的实现细节稀释了核心算法思想,难以为演化提供清晰启发。为此,我们提出 DeltaEvolve,一个动量驱动的演化框架,用结构化语义增量(semantic delta)替代完整代码历史,刻画相邻节点之间的修改如何以及为何影响性能。由于程序通常可分解,语义增量通常包含许多可迁移且对驱动改进更具信息量的有效组件。通过多级数据库与渐进式披露机制组织语义增量,输入 token 进一步减少。在跨多个科学领域任务上的实证评估表明,与基于完整代码的演化 Agent 相比,我们的框架能以更少 token 消耗发现更优解。

DeltaEvolve:通过动量驱动演化加速科学发现
图1:现有方法与 DeltaEvolve 下搜索动态的示意。现有方法存储并复用完整程序,而 DeltaEvolve 存储 semantic delta,记录改变了什么以及为何有效,形成一种类似动量的记忆,为复用提供更具信息量的指导。