论文

面向LLM求解器合成的记忆引导树搜索与跨分支知识迁移

Memory-Guided Tree Search with Cross-Branch Knowledge Transfer for LLM Solver Synthesis

上下文与知识记忆Agent记忆

摘要

组合优化(CO)是涵盖物流到芯片设计等领域决策的基础,在这些场景中不可行解在操作上不可用,而微小的质量提升便能转化为可观的经济价值。近期工作利用大语言模型(LLM)实现求解器合成的自动化:从自然语言规格说明生成可执行的求解器程序。然而,现有的树搜索与进化智能体并行地精炼候选轨迹,缺乏显式的知识迁移,导致重复引入相同的约束违例,并收敛到相似的算法族。我们提出MEMOIR,一个具有两级记忆层次的记忆引导树搜索框架:分支局部记忆在分支内围绕单一算法设计迭代时保存以执行结果为依据的精炼细节,而全局记忆则跨分支存储经压缩的算法摘要与失败模式摘要。分支终止时的反思步骤提炼这些摘要,从而实现跨分支迁移,又不让低层级调试痕迹污染未来的上下文。在涵盖调度、路由、装箱与几何设计的七个CO问题上,MEMOIR达到96.7%的解有效率(领先最强基线9.2个百分点),并在每方法执行预算相同的条件下将平均归一化得分提高7.3分。在四个问题上各进行三次独立运行,MEMOIR的运行间有效率标准差比我们在该设置下评估的每一个基线都低一个数量级以上,这表明记忆引导的探索带来的是一致的改进,而非采样方差的体现。

面向LLM求解器合成的记忆引导树搜索与跨分支知识迁移:论文配图
图 1:回忆录概述。每个分支从提出的算法设计开始,然后运行最多 nn 个细化步骤:当分支中不存在有效求解器时进行修复(灰色),一旦存在则进行改进(绿色)。在分支末端,反射将轨迹压缩为单个全局内存条目,引导后续分支走向不同的设计。执行预算用完后,返回得分最高的有效求解器。