Read、Grep与Synthesize：诊断LLM研究构思中的跨领域种子暴露

为新问题发现新方法是机器学习（ML）中持续不断的循环，通常由技术在跨领域迁移所驱动。基于这一观察，我们追问：当前的LLM构思系统究竟受益于有针对性的跨领域检索，还是仅仅受益于接触多样化机制。我们通过PaperGym研究这一问题，它是一个三阶段流水线：(1) 在隔离的论文环境中通过read、grep和bash进行工具增强的种子抽取；(2) 通过在七个ML领域间进行改写实现跨领域种子检索；(3) 从检索到的种子进行方法综合，由基于量规的评审进行打分。工具增强的抽取提升了具体性，基于改写的检索拓宽了领域覆盖面。在综合环节，跨领域检索在成对新颖性比较中的胜次多于无检索和同领域基线，但与随机多样化种子对照相比没有显著差异。这些发现表明，LLM构思系统受益于多样化种子的暴露，但尚未可靠地利用特定种子被检索出的语义原因。我们在 https://github.com/yunjoochoi/PaperGym 发布了种子库、量规提示词和运行脚本。