使用语言模型发展 AutoML 的可执行管道程序

自动机器学习 (AutoML) 系统在预先指定的预处理运算符、学习器和超参数的空间内搜索管道：它们可以选择和调整已知组件，但无法在该空间之外生成结构。我们提出了 LACE，一个 AutoML 框架，它可以搜索完整的可执行管道程序：一个进化循环维护了一组与 scikit-learn 兼容的 Python 类，并且 大语言模型 充当变异运算符。据我们所知，LACE 是第一个以这种方式制定通用表格管道 AutoML 的人，并在泄漏控制协议下对标准化 OpenML 任务进行评估，该协议向生成器保留数据集身份。因为每个候选者都是普通的 Python，所以可以直接检查和编辑返回的管道和生成它的搜索，而不仅仅是通过框架的模型对象。在 68 个 OpenML 分类任务中，采用 GPT-5.4-mini 的 LACE 显着优于 auto-sklearn、H2O 和固定 XGBoost 基线，与 AutoGluon（评估的最强的基于搜索的系统）相比没有可检测到的差异，同时覆盖了完整的基准。较新的表格基础模型在它们支持的任务子集上更加准确，但应用固定的预训练预测器，而不是返回可编辑的特定于任务的程序。因此，LACE 的贡献不是原始准确性，而是由代码定义的搜索空间：完全覆盖、管道从业者可以直接重用，以及通过编辑提示而不是框架来扩展的组件集。