简单基线可与代码进化相抗衡

代码进化是一类依靠大语言模型通过进化或变异既有代码来搜索可能程序的技术。许多已提出的代码进化流水线表现亮眼，但常不与更简单的基线比较。我们在三个领域检验两个简单基线的表现：寻找更优数学界、设计 Agentic 脚手架以及机器学习竞赛。我们发现简单基线在全部三个领域都追平或超过复杂得多的方法。通过分析这些结果，我们发现代码进化在开发和使用上的多种不足。对数学界而言，问题的搜索空间和提示中的领域知识主要决定搜索的性能上限与效率，代码进化流水线是次要的。因此，寻找更优界的主要挑战在于由领域专家设计好的搜索空间，而非搜索本身。在设计 Agentic 脚手架时，我们发现脚手架的高方差叠加小数据集导致选出欠佳脚手架，使人工设计的多数投票脚手架表现最好。我们提出更好的评估方法，在保持代码进化经济可行的同时降低评估随机性。最后讨论了未来工作中实现更严谨代码进化的方向和最佳实践。