TLRD：教学 LLM 使用三级基本原理 蒸馏 对表格数据进行推理

表格数据是存储现实世界信息的主要媒介，推动了机器学习的许多工业应用。传统的预测器具有很强的预测性能，但无法提供决策所必需的可读的、针对具体情况的解释。 大语言模型 (LLM) 可以通过生成预测和解释来自然地弥补这一差距。然而，数据集特定的模式，例如特征分布和交互，使得表格数据难以被 LLM 理解和推理，而仅标签 微调 以灾难性遗忘为代价提高了性能。为了解决这个问题，我们提出了三级基本原理 蒸馏 (TLRD)，一个将仅标签表格数据集转换为 LLM 的结构化基本原理监督的框架。 TLRD 使用高容量教师来合成基于三个互补级别的证据的基本原理语料库：实例级特征、数据集级分布上下文和比较级检索的邻居，然后将基本原理提炼到学生 LLM 中，从而仅从原始特征实现零开销预测和有依据的解释。在多个领域数据集上的实验表明，TLRD 显着缩小了 LLM 和最先进的树集成之间的性能差距，同时产生有依据且可读的解释，为高风险决策提供有价值的参考。