表格机器学习的代理搜索空间

尽管基于 LLM 的代理在规划、代码生成和调试方面取得了快速进展，但它们对于表格机器学习的实用价值仍未得到充分开发。在本文中，我们研究了一个具体的用例：最先进的代理人工智能系统是否可以为已建立的表格模型设计扩展的 HPO 搜索空间，其性能优于模型作者提供的标准搜索空间。具体来说，我们将每个表格模型表示为涵盖预处理、嵌入、架构、训练和推理的模块化管道。然后，我们要求代理为每个模块提出候选代码实现，并使用经典的 HPO 算法对这些候选代码和模型的默认超参数进行联合优化。与基本 HPO 空间相比，扩展的搜索空间提高了 45 个数据集上几乎每个模型系列的性能，平均相对增益为 0.6%，在中小型回归数据集上升至 2.0%。值得注意的是，这些收益不需要额外的调整成本：在相同的调整和集成预算下，扩大的空间优于基础空间。收益转移到最近的 TabArena 基准测试中，其中代理空间提高了五个模型系列中的四个的官方 Elo 分数，并且两个最强的代理集成超过了传统模型中最好的 AutoGluon 集成。总的来说，我们的研究表明 LLM 代理可以通过扩展设计空间为表格 ML 提供实用价值。