论文
EvoMem:面向代码优化的记忆增强进化搜索
EvoMem: Memory-Augmented Evolution for Code Optimization
摘要
进化代码搜索中成功的变异策略可能包含超出单次运行仍然有用的可复用知识,在某些情况下还可跨相关任务和领域迁移。然而,现有的大语言模型(LLM)驱动进化框架大多丢弃这类知识,重复发现相似想法,限制了跨运行与跨任务学习的机会。我们提出EvoMem,一种面向基于LLM的进化程序搜索的持久记忆架构,用于捕获并复用候选变异知识。EvoMem将成功的变异事件转化为面向未来运行的结构化、任务感知的建议。它分两个阶段运行:每次运行结束后,提取并存储有潜力的想法及其来源;在后续进化过程中,基于当前任务和程序上下文检索少量相关指令来引导变异。在几何优化、多跳问答、GPU内核优化及相关基准上的实验表明,大多数评估设置在目标指标或搜索速度上取得平均为正的改进,同时也揭示了跨任务的差异。总体而言,EvoMem提供了证据表明持久记忆可以减少部分冗余探索,并改善LLM驱动进化搜索中成功策略的复用与适配。
