基于系统发生树的LLM驱动进化式代码优化

为现代 GPU 优化科学计算算法是一个劳动密集的迭代过程，涉及在复杂软硬件栈上反复修改代码、基准测试与调参。近期工作探索了 LLM 辅助的进化式自动代码优化方法，但这些方法主要依赖基于结果的选择与随机变异，未充分利用迭代优化过程中产生的丰富轨迹信息。我们提出 PhyloEvolve，一个 LLM 智能体系统，把面向 GPU 的算法优化重构为上下文强化学习（ICRL）问题。这一形式化支持无需重训模型的轨迹条件化经验复用。PhyloEvolve 把算法蒸馏与基于提示的 Decision Transformers 融入迭代工作流，把算法修改序列与性能反馈作为一等学习信号。为组织优化历史，我们引入系统发生树表示，捕捉算法变种之间的继承、分化与重组，支持回溯、跨谱系迁移与可复现性。系统结合精英轨迹池、多岛并行探索与容器化执行，在异构硬件上平衡探索与利用。我们在包括 PDE 求解器、流形学习与谱图算法的科学计算负载上评估 PhyloEvolve，展示其相对基线与进化方法在运行时间、内存效率与正确性上的一致改进。代码发布于：https://github.com/annihi1ation/phylo_evolve