发现，而非设计：协作和计算密集型模型发现的群体进化

LLM驱动的演进使得迭代模型开发成为可能，但两个实际目标仍未得到充分探索：找到跨相关任务转移的模型设计以及在训练昂贵时持续改进。我们引入了种群进化（PE），这是一个协作的、分层的框架，通过共享的实验证据连接正在进行的本地搜索。 PE 评估相关训练实例的代码更改并共享结果，以指导后续提案和升级到更大的训练规模。对于昂贵的目标，PE 搜索小的训练子集，并在完整目标训练之前通过同行和中间评估筛选候选者。我们引入 RMD-Bench 来评估排名、观看时间预测、RL 算法发现和LLM/VLM预训练的设置。与匹配源迭代的独立进化相比，PE 将排名中的平均最佳局部增益从 7.01% 提高到 8.97%，将观看时间从 2.84% 提高到 3.85%，同时提高了所有三个联合发现系列中的最佳大规模结果。在观看时间发现中，PE 通过五个Harness中的四个和所有四个提议者提高了最佳大规模收益。在共享目标端校准下的新推荐数据集上，每个经过评估的 PE 设计的平均性能均优于参考。在匹配的总 GPU 计算下，完成的LLM发现运行产生了 2.48% 的最佳相对准确度增益，并有 13 个成功的 PE 候选者，而直接进化的相对准确度为 0.92%，没有一个成功。 VLM损失减少达到 8.78%，而在匹配的总 GPU 计算下则为 5.05%。