论文

GOTabPFN:从高维数据表格基础模型的特征排序到紧凑标记化

GOTabPFN: From Feature Ordering to Compact Tokenization for Tabular Foundation Models on High-Dimensional Data

上下文与知识上下文工程

摘要

我们研究如何使小型表格基础模型有效地进行高维、低样本大小(HDLSS)表格预测,而无需重新训练大型骨干网。我们引入了局部细化图引导排序 (GO-LR),展示了其与加权最小线性排列的等价性,并将实际求解器解释为 TSP 路径式代理。我们提出基于 GO-LR 的 GOTAbPFN 和神经启发子单元压缩(NSC)单元,将局部相邻的有序特征池化为元特征,产生紧凑的表示,使 TabPFN 式预测在 HDLSS 体系中实用。在表格基准测试中,GOTabPFN 在严格的 词元预算 下提高了稳定性和准确性。