超越以解法为中心的搜索：自主机器学习工程中的自适应探究与知识修订

长期时间跨度的自主研究任务，如机器学习工程，需要系统在有限预算内作出相互依赖的决策。现有的基于LLM的代理通常通过树、图或链结构来组织候选解决方案的改进，这意味着搜索过程决定了信息的获取和管理方式。我们称之为设计解决方案导向的搜索，而我们提议的则是信息范式，其中不断变化的信息状态代表系统的任务理解，并引导解决方案的改进。我们实例化这个范式在Iris中，一个查询-修订循环。对于信息获取，Iris从当前的信息状态生成局部行动计划，并使用认知行动来探查决策关键的未知，而不修改保留的解决方案。对于信息管理，Iris将实验中的观察合成任务知识，由可修订的声明组成，具有明确的范围和状态。它随着新的证据的到达更新这个知识，并从原始证据、结构化的摘要或任务知识中构建每个决策情境，以所需的详细程度。在MLE-Bench上，Iris在12小时预算内达到64.9%的任何奖牌率，是与其他系统相比的最高。在跨越四项任务的跨度工程和模型后训练任务上，Iris也展示了跨域泛化。