论文
ReSS:通过符号支架学习面向表格数据预测的推理模型
ReSS: Learning Reasoning Models for Tabular Data Prediction via Symbolic Scaffold
摘要
表格数据在医疗、金融等高风险领域依然普遍,这些领域要求预测模型既提供高准确率,又提供忠实且人类可理解的推理。符号模型虽提供可验证的逻辑,却缺乏语义表达力。与此同时,通用LLM通常需要专门微调才能掌握领域特定的表格推理。为应对可扩展数据整理与推理一致性的双重挑战,我们提出ReSS,一个衔接符号推理模型与神经推理模型的系统化框架。ReSS利用决策树模型提取实例级决策路径作为符号支架。这些支架与输入特征、标签一起,引导LLM生成严格遵循底层决策逻辑的、有据可依的自然语言推理。所得高质量数据集用于将预训练LLM微调为专门的表格推理模型,并进一步通过支架不变的数据增强策略提升泛化能力与可解释性。为严格评估忠实性,我们引入幻觉率、解释必要性与解释充分性等定量指标。在医疗与金融基准上的实验结果表明,ReSS训练的模型相较传统决策树和标准微调方法最高提升$10\%$,同时产生忠实且一致的推理。
