初始化改进了 LLM 驱动的发现

大语言模型 (LLM) 已被用于通过使用促使 LLM 迭代优化目标的工具来发现算法、定理、药物和其他任务。在这项工作中，我们研究了先前迭代的群体与最终发现成功之间的关系。我们总结了过去的Harness设计工作，开发了一套名为“模块化”的 12 种Harness，并描述了它们在 5 个不同的发现任务中的性能，发现发现成功对于Harness设计来说是脆弱且敏感的。我们发现模式崩溃是一种常见的故障模式，其特点是迭代多样性急剧下降。我们发现，流行的最先进的安全措施和多样性诱导的安全措施干预措施旨在延长这种崩溃，但产生的收益不一致。相反，我们的结果表明，早期发现的表现可以预测最终的成功。因此，我们提出了一种普遍适用的干预措施，该干预措施执行并行探索的初始阶段，以便初始化后续的迭代优化。我们的方法在许多工具和目标应用程序中提供了一致的增益，证实了初始化在 LLM 驱动的发现中的重要性。