论文
当表格基础模型跨模态转移时:对 95 个数据集、7 种模态和两种机制的系统评估
When Tabular Foundation Models Transfer Across Modalities: A Systematic Evaluation Across 95 Datasets, 7 Modalities, and Two Regimes
摘要
我们提出了一个单一的分类管道,它将等角紧框架(ETF)预处理阶段与用于上下文推理的表格基础模型相结合,一旦数据映射到固定向量表示,就可以跨模态相同地应用。我们在涵盖七种信号模式(视觉、音频、语音、文本、分子、时间序列和表格)的 95 个数据集上对其进行了评估。主要的方法论贡献是固定了比较对象:在整篇论文中,性能是根据相同冻结特征上最强的轻量级调整基线来判断的,而预言机选择、部署选择和专门的 微调 则分别报告。该管道在相同的冻结功能上与强大的轻量级调整基线具有广泛的竞争力。它无法与每项任务上最好的专用模型或经过严格调整的管道相匹配,但它保持接近,并且运行速度更快 - 通常比完整主干 微调 快 4 到 200 倍,通常质量相当。我们描述了如何在实践中部署管道:何时应用 ETF 预处理、如何在没有验证分割的情况下停止训练、如何设置上下文分类器以及如何校准结果概率。校准步骤是非装饰性的:TabICL 通过构造生成经过良好校准的概率,ETF 预处理最初会破坏该校准,而事后重新缩放会恢复它 - 产生每个预测的置信度信号,从业者可以将其用作置信门控部署的信任阈值。我们还报告了管道不应在哪些情况下提供帮助,以及如何提前识别这些情况。