论文
用于表格数据自动特征生成的记忆增强LLM多智能体系统
Memory-Augmented LLM-based Multi-Agent System for Automated Feature Generation on Tabular Data
摘要
自动特征生成在无需人工干预的情况下从原始表格数据中提取有信息量的特征，对实现准确且可泛化的机器学习至关重要。传统方法依赖预定义的算子库，无法利用任务语义，限制了其为复杂任务产出多样、高价值特征的能力。近期基于大语言模型（LLM）的方法引入了更丰富的语义信号，但仍因固定的生成模式而使特征空间受限，且缺乏来自学习目标的反馈。为应对这些挑战，我们提出用于自动特征生成的记忆增强LLM多智能体系统（MALMAS）。MALMAS将生成过程分解为职责各异的智能体，并由Router Agent在每轮迭代中激活适当的智能体子集，进一步拓宽特征空间的探索。我们进一步集成了由程序性记忆、反馈记忆和概念性记忆组成的记忆模块，实现迭代精炼，自适应地引导后续特征生成并提升特征的质量与多样性。在多个公开数据集上对比最先进基线的大量实验证明了我们方法的有效性。代码见 https://github.com/fxdong24/MALMAS
