论文
RSAT:结构化归因使小语言模型成为忠实的表推理者
RSAT: Structured Attribution Makes Small Language Models Faithful Table Reasoners
摘要
当语言模型回答表格问题时,用户无法验证哪些单元格通知了哪些推理步骤。我们引入了 RSAT,这是一种训练小语言模型(SLM,1-8B)的方法,通过基于表格证据的单元级引用进行逐步推理。第 1 阶段 (SFT) 教授来自经过验证的推理跟踪的结构化 JSON 输出格式。第 2 阶段 (GRPO) 优化了以基于 NLI 的 忠实性 为中心的复合奖励,以及引文有效性和简约性。在来自两个系列的六个模型中 - Qwen 2.5 (1.5B/3B/7B) 和 Llama 3 (1B/3B/8B) -RSAT 比单独的 SFT (0.224$\rightarrow$0.826) 提高了 忠实性 3.7$\times$,并且具有近乎完美的引用有效性 (0.992)。事后归因的格式成功率低于 13%,这证实归因必须整合到推理中,而不是进行改造。消融表明 忠实性 奖励至关重要:删除它会使 忠实性 从 0.97 下降到 0.03。