BoostLLM：受Boosting启发的LLM 微调，用于小样本表格分类

大语言模型 (LLM) 最近通过将结构化特征序列化为自然语言来适应表格预测，但与梯度增强决策树 (GBDT) 相比，它们在低数据情况下的性能仍然有限。在这项工作中，我们重新审视传统上与树集成相关的提升范式，并询问它是否可以用作 LLM 微调 的通用训练原则。我们提出了 BoostLLM，这是一个框架，通过将顺序 PEFT 适配器训练为弱学习器，将参数高效的 微调 转换为多轮残差优化过程。为了合并表格归纳偏差，BoostLLM 将决策树路径集成为第二个输入视图以及原始特征；分析表明，在模型转向特征驱动表示之前，路径视图在早期训练步骤中充当结构化教师。根据经验，BoostLLM 在多个 LLM 主干和数据集上实现了相对于标准 微调 的一致改进，在各种镜头计数上匹配或超越了 XGBoost，并使用 4B 模型优于基于 GPT-4o 的方法。我们进一步表明，该框架具有可扩展性：与更强大的树模型和扩展的提升范围相结合，可以在适当的稳定下产生额外的收益。这些结果表明，Boosting 可以作为 LLM 微调 的通用训练原则，特别是在结构化数据的低数据机制中。