零标签表格学习的边际响应面启发

表格学习使用结构化数据来预测目标结果。传统上，这个过程依赖于标记数据。然而，大语言模型（LLM）可用于根据任务描述和特征语义得出领域先验，从而无需标记数据即可进行预测。我们提出了边际响应表面启发（MARS），一种将特征级 LLM 先验转换为可重用、零样本表格分类器的方法。为了构建这个分类器，MARS从未标记的数据中选择每个特征的代表值，并提示LLM提供相应的类别支持分数和特征权重。然后，它使用中值聚合多个响应来构建特征响应函数，并通过它们的加权和进行预测，而无需进一步的 LLM 查询。在八个表格基准任务中，MARS 实现了最高的平均 AUC 和 AP，分别比直接提示高出 1.97 和 6.21 个百分点，同时大幅降低了端到端成本。对不同规模的大语言模型的评估进一步证明了其相对于直接提示的预测优势。