论文
面向LLM自动特征工程的自适应群岛图进化
Adaptive Graph-of-Islands Evolution for Automatic Feature Engineering with LLMs
摘要
面向表格数据的自动特征工程(AutoFE)需要从庞大的程序空间中发现有信息量的变换。现有方法存在三个局限:经典方法依赖表达能力有限的固定算子库;基于LLM的方法从静态提示生成提案而不保留搜索经验;进化方法使用固定的迁移策略,忽略任务特定的跨家族迁移效用。我们提出TOPOFE,一个把AutoFE表述为图结构化多岛屿进化程序搜索的框架。变换空间被划分为语义上内聚的家族,每个家族由一个岛屿通过LLM引导的变异与交叉进行探索。每个岛屿维护一个提示自适应记忆(Prompt Adaptation Memory),积累接受/拒绝反馈,在不更新参数的情况下把提案引向有成效的区域。为协调全局探索,TOPOFE动态学习一个有向拓扑图,其边权重编码变换家族之间的迁移效用。跨岛屿迁移由自适应饱和检测触发,并通过LLM中介的混合合成执行,使得能够发现孤立局部搜索无法产生的组合式特征程序。在29个表格数据集上的实验表明,TOPOFE在分类和回归任务上持续优于大多数最先进的AutoFE方法。除预测性能外,TOPOFE产出的特征集冗余更低、表示覆盖更高,且学到的拓扑图获得了与下游收益相关的有意义的任务特定迁移结构。发现的特征程序在不同预测器与LLM骨干之间可靠迁移,表明改进来自TOPOFE的结构化搜索与自适应协调,而非特定骨干的生成能力。
