论文

ReSS:通过符号支架学习面向表格数据预测的推理模型

ReSS: Learning Reasoning Models for Tabular Data Prediction via Symbolic Scaffold

模型训练合成数据

摘要

表格数据在医疗、金融等高风险领域依然普遍,这些领域要求预测模型既提供高准确率,又提供忠实且人类可理解的推理。符号模型虽提供可验证的逻辑,却缺乏语义表达力。与此同时,通用LLM通常需要专门微调才能掌握领域特定的表格推理。为应对可扩展数据整理与推理一致性的双重挑战,我们提出ReSS,一个衔接符号推理模型与神经推理模型的系统化框架。ReSS利用决策树模型提取实例级决策路径作为符号支架。这些支架与输入特征、标签一起,引导LLM生成严格遵循底层决策逻辑的、有据可依的自然语言推理。所得高质量数据集用于将预训练LLM微调为专门的表格推理模型,并进一步通过支架不变的数据增强策略提升泛化能力与可解释性。为严格评估忠实性,我们引入幻觉率、解释必要性与解释充分性等定量指标。在医疗与金融基准上的实验结果表明,ReSS训练的模型相较传统决策树和标准微调方法最高提升$10\%$,同时产生忠实且一致的推理。

ReSS:通过符号支架学习面向表格数据预测的推理模型:论文配图
图1:ReSS流水线应用于糖尿病预测问题的示意图,展示符号脚手架引导表格数据推理建模的过程。