论文

SAGE-Loop:可靠的闭环 LLM 驱动的 AutoML,具有试验校正和自适应集成

SAGE-Loop: Reliable Closed-Loop LLM-Driven AutoML with Trial-and-Correction and Adaptive Ensembling

智能体系统Agent 架构与控制循环

摘要

自动化机器学习 (AutoML) 正在重塑数据驱动的科学和工业实践,随着大型语言模型被引入 AutoML,管道可靠性变得与自动化效率同样重要。然而,现有的AutoML仍然难以实现执行过程中的即时反馈和自适应优化,因此一旦运行陷入次优或失败状态,它缺乏流程级的纠正机制。其基本病态在于其单向管道:中间故障通常被终止或绕过,而固定范式通常会增强模型生成,但使集成决策保持静态,从而削弱执行可靠性和结构多样性的受控使用。这表明LLM驱动的AutoML需要一种闭环能力来进行试验校正改进以及基于证据的模型多样性使用。为此,我们提出了 SAGE-Loop,一种可靠的闭环、自适应、LLM 驱动的 AutoML 框架,它执行多轮生成和验证以进行试验和修复,并在监督和非监督任务中自适应选择集成策略,从而统一如何生成和如何使用模型。在 20 个公共数据集上,SAGE-Loop 不断提高分类、回归和聚类任务的性能和稳定性。其他结果进一步表明其从执行失败中恢复并保持稳健的管道行为的能力。