回到启发式设计的起点：用LLM桥接代码与知识

摘要

大语言模型（LLM）近期推进了组合优化（CO）的自动启发式设计（AHD）：候选启发式被迭代提出、评估与精化。多数既有方法在可执行程序上搜索，并从执行反馈中蒸馏洞见指导后续迭代。因为该过程从低层实现走向高层原理，我们称之为自底向上范式。我们论证该视角不完整，并提出互补的自顶向下视角：知识成为首要搜索对象，代码只是实例化并检验它——使所学显式化、可跨问题与轨迹复用。我们经统计学习视角把这一转变形式化，暴露出失真-压缩权衡，并在基于种群与基于树的AHD框架中实例化。跨CO及CO之外的任务，知识优先搜索改进发现效率、迁移与泛化，常胜过以代码为中心的流水线；两种策略结合带来进一步收益。结果表明：AHD的进步取决于迭代构造并演化可解释假设，使其保有超越单次搜索轨迹的价值。

回到启发式设计的起点：用LLM桥接代码与知识：论文配图 — 图 1：AHD 自下而上和自上而下范例的比较。 (1a) ReEvo BU 演化可执行程序并从执行反馈中提取知识。 (1b) ReEvo TD 通过遗传算子直接演化出一组知识单元，然后将其实例化为代码。 (1c) 对偶表述通过双向交互共同演化代码和知识。 (2a) MCTS-AHD BU 使用事后抽象在程序空间中搜索，而 (2b) MCTS-AHD TD 直接在知识空间中执行搜索并从选定的知识中导出可执行程序。