论文
通过操作草图和自监督学习推广表数据中的数值推理
Generalizing Numerical Reasoning in Table Data through Operation Sketches and Self-Supervised Learning
摘要
对专家域表的数值推理通常表现出较高的域内精度，但对域转换的鲁棒性有限。在特定数据集上使用受监督的 微调 (SFT) 训练的模型往往依赖于标头操作快捷方式，而不是结构推理。我们引入了 TaNOS，一个连续的 预训练 框架，包含三个组件：（i）标题匿名化以减少词汇记忆，（ii）提供最少结构线索的操作草图，以及（iii）自监督预训练，以程序优先的方式从给定的表构建正确性保证的程序-问题对。通过解耦领域语义和数值运算结构，TaNOS 提高了数值推理的可迁移性。应用于 8B 指令调整模型时，TaNOS 仅用 10% 的训练数据就在 FinQA 上实现了 80.13% 的执行准确率，优于具有完整训练数据和 GPT-5、Gemini-2.5-Pro 等专有模型的 SFT 基线（73.97%）。此外，在域转移实验中，当标准 SFT 显示超过 10pp 间隙时，TaNOS 显示几乎可以忽略不计的跨域间隙 (<2pp)。这些结果表明，具有操作草图、与标题无关的表示和保证正确性的自我监督的结构指导可以提高跨不同专家域表的数值推理的稳健性。