论文
回收Autoresearch智能体中被浪费的算力
Recovering Wasted Compute in Autoresearch Agents
摘要
近来大量工作开发用于端到端解决研究问题的智能体,这一范式日益被称为autoresearch。此类智能体激发了大规模产业投资,其动因在于自动化耗时的人力劳动并为专门应用定制机器学习解决方案的潜力。本文研究了这些autoresearch系统核心的建模流水线,并识别出它们应用于表格数据集时的常见失效模式:(1)它们浪费算力反复解决同样的bug;(2)即使剩余大量算力预算,它们也常常未能调优超参数;(3)驱动它们的树搜索算法不做探索;(4)它们执行数据分析,模仿其训练数据所来自的人类,但不利用该分析做下游决策。我们探索了针对性干预,发现一个在搜索树所有分支间共享已发现运行时约束的全局调试顾问、提示词级与控制级增强,以及经过改进的树搜索算法能成功挽回被浪费的算力。我们的结果表明,在底层语言模型固定的情况下,仅凭agentic设计即可大幅提升autoresearch智能体性能。
