想法搜索：用想法引导树搜索，探索多样化的科学方法

LLM 基于树搜索的测试时间缩放是自动科学编码的强大工具。然而，纯树搜索有时会在系统探索中遇到困难，陷入局部最优或无效循环，尤其是在科学方法的巨大搜索空间中。为了解决这个限制，我们提出了想法搜索，这是一个系统地将动态“想法库”集成到树搜索中的框架。想法搜索涉及三个步骤：（1）将现有方法分解为原子想法，（2）从这个想法库中采样以指导代码突变分支，以及（3）通过执行发现的新想法动态更新库。在单细胞 RNA 测序 (scRNA-seq) 批量集成中，Idea Search 可靠地打破了强大的纯 Tree Search 基线的平台，将平均得分从 0.678 提高到 0.697，并达到了 0.728 的最佳得分。然后，我们描述了哪些设计选择推动了这些收益：银行扩充有助于强盗抽样，但不能帮助随机抽样，优先考虑新想法的“探索性”提示会出现罕见的最佳性能解决方案，而增加抽样级别的探索则会适得其反。