KnowsTFM：小型平板基础模型的知识告知 微调

表格基础模型通过在许多中小型任务中提供强大的默认性能，对表格数据进行高级深度学习。然而，在数据稀缺、高维且偏离预训练分布的利基领域，它们可能仍然无法超越精心设计的特定领域方法。许多此类领域还以知识图和知识库的形式提供精选的关系知识，但如何使用这些知识来改进和引导 \textit{small} 专业表格基础模型仍不清楚。我们通过 \textbf{s}mall \textbf{T}abular \textbf{F}oundation \textbf{M}odels (\modelname) 的 \textbf{Know}ledge-informed 微调 解决这个问题。具体来说，我们研究纳米级 TabPFN 和 TabICL 风格的变体，在受控的合成先验家族下进行预训练，并使用两种互补机制进行调整：从知识图导出的结构注意先验和参数高效的低秩更新。我们表明，在 微调 期间注入特定领域的结构知识比专业环境中的普通变体产生了有意义的收益，而在一般领域任务上的收益是微乎其微的。我们进一步观察到，前沿模型的连续 微调 可能会引发预训练知识和机制的崩溃。