Bilevel Autoresearch：对自动研究本身进行元自动研究

如果自动研究本身就是研究的一种形式，那么自动研究就可以应用于研究本身。我们从字面上理解这个想法：我们使用自动研究循环来优化自动研究循环。每个现有的自动研究系统——从 Karpathy 的单轨循环到 AutoResearchClaw 的多批次扩展和 EvoScientist 的持久记忆——都是由阅读代码、识别瓶颈并编写新代码的人改进的。我们询问大语言模型是否可以自主地做同样的事情。我们提出了 Bilevel Autoresearch，这是一个双层框架，其中外部循环通过在运行时生成并注入新的搜索机制作为 Python 代码来对内部自动研究循环进行元优化。内循环优化任务；外循环优化内循环的搜索方式。两个循环都使用相同的 LLM——在元级别不需要更强的模型。在 Karpathy 的 GPT 预训练基准上，元自动研究外循环比单独的标准内循环实现了 5 倍的改进（-0.045 与 -0.009 val_bpb），而在不改变机制的情况下进行参数级调整不会产生可靠的增益。外循环自主地从组合优化、多臂老虎机和实验设计中发现机制——无需人工指定要探索的领域。这些机制通过打破内循环的确定性搜索模式而成功，迫使探索大语言模型先验系统地避免的方向。核心原则很简单：如果自动研究能够对自身进行元自动研究，那么原则上它就可以对任何具有可衡量目标的事物进行元自动研究。