论文
MLEvolve：面向自动机器学习算法工程的自演化框架
MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery
摘要
大型语言模型（LLM）代理越来越多地应用于科学发现和机器学习工程（MLE）等长期任务，其中持续的自我进化成为关键能力。然而，现有的 MLE 代理存在分支间信息隔离、无记忆搜索和缺乏层次控制的问题，这些都阻碍了长期优化。我们推出了 MLEvolve，一种基于 LLM 的自进化多代理框架，用于端到端机器学习算法发现。通过将树搜索扩展到渐进式 MCGS，MLEvolve 能够通过基于图的参考边实现跨分支信息流，并通过受熵启发的渐进式计划逐渐将搜索从广泛探索转变为集中利用。为了让代理随着经验的积累而发展，我们引入了回顾性记忆，它将冷启动领域知识库与动态全局记忆相结合，用于特定任务的经验检索和重用。为了稳定的长期迭代，我们进一步使用自适应编码模式将战略规划与代码生成解耦。 MLE-Bench 的评估表明，MLEvolve 在 12 小时预算（标准运行时间的一半）下的平均奖牌率和有效提交率等多个维度上实现了最先进的性能。此外，MLEvolve 在数学算法优化任务上也优于包括 AlphaEvolve 在内的专业算法发现方法，表现出强大的跨领域泛化能力。我们的代码可在 https://github.com/InternScience/MLEvolve 获取。
