论文
上下文表格学习中的噪声免疫：TabPFN 注意力机制的实证稳健性分析
Noise Immunity in In-Context Tabular Learning: An Empirical Robustness Analysis of TabPFN's Attention Mechanisms
摘要
TabPFN（表格先验数据拟合网络）等表格基础模型 (TFM) 旨在通过上下文学习 (ICL) 泛化异构表格数据集。他们以标记示例为条件，在单次前向传递中执行预测，而无需更新数据集特定的参数。这种范式在表格预测普遍存在的工业领域（例如金融和医疗保健）特别有吸引力。在这些设置中，为每个新表重新训练定制模型可能成本高昂或不可行，而不相关的预测变量、相关的特征组和标签噪声等数据质量问题也很常见。在本文中，我们提供了强有力的经验证据，证明 TabPFN 在这些次优条件下具有高度鲁棒性。我们研究 TabPFN 及其针对二元分类问题的注意力机制，其受控合成扰动的变化如下：(i) 通过注入随机不相关特征和引入非线性相关特征来实现数据集宽度，(ii) 通过增加训练行数来实现数据集大小，以及 (iii) 通过增加错误标记目标的比例来实现标签质量。除了预测性能之外，我们还分析内部信号，包括注意力集中度和基于注意力的特征排名指标。在这些参数测试中，TabPFN 具有非常强的弹性：ROC-AUC 仍然很高，注意力保持结构化和敏锐，并且信息特征根据基于注意力的指标排名很高。具有注意力热图、特征标记嵌入和 SHAP 图的定性可视化进一步支持跨层的一致模式，其中 TabPFN 越来越专注于有用的特征，同时将其信号与噪声分离。总之，这些发现表明 TabPFN 是一种强大的 TFM，能够在各种数据不完善的情况下保持预测性能和一致的内部行为。