分类器何时对 LLM 有帮助？分类器引导提示和混合分类器-LLM 信用违约预测模型

信用违约预测是金融决策中的一项重要任务。传统方法使用拟合分类器，例如基于表格特征的逻辑回归和随机森林。 大语言模型（LLM）最近已通过提示应用于此任务。在这项工作中，我们研究如何将拟合分类器和 LLM 结合起来进行信用违约预测。我们区分告诉 LLM 模仿分类器和使用分类器构建提示。我们假设一个合适的分类器可以提供 LLM 提示所缺乏的排名能力。我们对信用卡客户违约数据集进行实验，并报告召回率、F1 以及 ROC 和精确召回曲线下的面积，以及引导程序置信区间。我们观察到，少数样本 LLM 在任何单一模型中具有最高的召回率 (0.47) 和 F1 (0.50)，但排名比随机森林差（AUC-ROC 0.72 对 0.79）。指示 LLM 模仿分类器不会带来重大变化。将提示修剪为分类器的八个最重要的特征可将召回率提高 0.071，将 F1 提高 0.032。将分类器的预测概率添加到提示中会将 LLM 的 AUC-ROC 从 0.72 提高到 0.78，与随机森林匹配，同时保持比随机森林高 0.118 的召回率。反向组合和使用多个分类器并没有帮助。因此，我们建议使用简单的分类器引导提示来进行基于 LLM 的信用预测。