论文

回收Autoresearch智能体中被浪费的算力

Recovering Wasted Compute in Autoresearch Agents

智能体系统Agent 架构与控制循环

摘要

近来大量工作开发用于端到端解决研究问题的智能体,这一范式日益被称为autoresearch。此类智能体激发了大规模产业投资,其动因在于自动化耗时的人力劳动并为专门应用定制机器学习解决方案的潜力。本文研究了这些autoresearch系统核心的建模流水线,并识别出它们应用于表格数据集时的常见失效模式:(1)它们浪费算力反复解决同样的bug;(2)即使剩余大量算力预算,它们也常常未能调优超参数;(3)驱动它们的树搜索算法不做探索;(4)它们执行数据分析,模仿其训练数据所来自的人类,但不利用该分析做下游决策。我们探索了针对性干预,发现一个在搜索树所有分支间共享已发现运行时约束的全局调试顾问、提示词级与控制级增强,以及经过改进的树搜索算法能成功挽回被浪费的算力。我们的结果表明,在底层语言模型固定的情况下,仅凭agentic设计即可大幅提升autoresearch智能体性能。

回收Autoresearch智能体中被浪费的算力:论文配图
图1:调试顾问在整个搜索树上共享上下文:一个节点的失败成为所有节点的教训。崩溃的节点被压缩进一个由失败与成功修复组成的共享bug索引,再被蒸馏为禁止模式与已验证的修复方案,并注入到后续每一次生成步骤中,因此智能体只需对其运行时环境学习一次,而不必在每个分支里重新发现每个bug。