使用 LLM 生成特征：一种进化算法方法

机器学习管道中的关键步骤是向每个实体呈现代表已处理实体特征的特征或属性。特征工程是寻找属性之间关系的重要一步，否则机器学习算法可能无法处理这些属性。同时，大语言模型在编码、数学推理和处理世界知识方面表现出了良好的能力。在这项工作中，我们利用 LLM 来解决基于先前给出的特征从表格数据生成特征的问题。我们创建了一个管道，它采用一组属性和提示来生成新功能。然后，我们的选择算法选择性能最佳的属性集。我们将我们的方法应用于来自不同领域和数据类型的八个数据集。我们的结果表明，在大多数情况下，语言模型可以基于数学和逻辑运算符产生新特征，这些特征对给定任务有用并且可以改善分类结果。