论文

支持编译的特征折叠:跨表格基础模型的较低内存的更多证据

Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models

模型推理推理加速

摘要

表格基础模型面临特征侧缩放困境:全角成对混合随列数呈二次方增长,而特征选择通过丢弃证据来节省内存。我们引入了支持编译特征折叠(SCFF),这是一种免训练的推理框架,可以在不改变冻结主干的情况下解决这一困境。 SCFF 通过本机特征编码器的有界叶子路由支持排序特征,支持检查残留证据,并在单个上下文预测之前合并编码消息。因此,它将二次特征交互工作转换为具有有限局部工作集的宽度线性工作,而无需集成预测或训练新参数。在固定 AMLB-29、TabZilla 和 TabArena 快照的详尽 18 数据集宽表切片上,SCFF 提高了所有六个评估主干上的数据集宏准确性和 NLL。所有四个匹配宽度比较在锁定折叠上保留了 95% 的有利数据集引导间隔,相对误差降低高达 26.1%。配对 GPU 内存节省的中位数为 2.09 倍至 2.36 倍,单独观察到的最大峰值的比率达到 34.3 倍。在测量的峰值内存上限下,SCFF 使用节省的预算来保留更多支持选择的证据,与 TabICLv2 和 TabPFN-3 的预先声明的宽核心层上的最宽可行单叶相比,精度提高了 4.06 和 3.72 个点。