匹配预算实验分离迭代LLM优化中的父代继承与反馈广度

迭代语言模型优化器通过评估候选者、向提议者模型显示失败案例的样本以及保留提高性能的修订来完善提示和程序。最近的工作将此循环的限制归因于狭窄的单轮反思，引入全套错误聚类、有针对性的小批量或更大的提议者模型，以便优化器在每个步骤中看到更多的失败模式。然而，每个现有的评估都专门在谱系保留搜索中测试这些机制，其中每个修订都会编辑幸存的父代，从而使父代继承的贡献与每轮反馈的广度相混淆。在涵盖 9 个提示和程序合成基准的 1,750 次预注册运行中，我们在匹配的评估预算下将父代继承与反馈披露分开。我们发现，贪婪的父代继承推动了绝大多数优化进程，即使种子重置提案收到每轮中所有失败的集群摘要或使用更大的提案者模型，贪婪父代继承仍优于从初始种子重置后重新采样。虽然全套错误聚类和多样化的故障选择改进了种子的单步重写并加速了搜索的开始轮次，但连续父代继承迅速缩小了这一差距，因为已解决的错误模式保留在候选中并从后续故障列表中过滤。此外，分解 GEPA 中的token开销表明，提议者反思仅占总成本的一小部分，而验证和小批量门控几乎消耗了整个预算，这表明基于原始失败案例的贪婪父代继承仅占其计算量的一小部分即可捕获复杂反思循环的收益。