TabPFN 超越表格数据：多模态嵌入的校准和准确性

Few-shot 多模态分类通常将轻量级头部（例如 $k$ 最近邻、逻辑回归或线性 SVM）附加到冻结的预训练编码器。尽管计算效率很高，但这些头可能会产生校准不佳的置信度分数。我们询问 TabPFN 是否可以在不牺牲预测准确性的情况下对多模态嵌入提供可靠的置信度估计，以及在什么条件下进行。我们系统地评估 TabPFN 作为冻结图像、文本和音频编码器的零梯度头。在涵盖 14 个数据集、11 个编码器和三种模式的 22{,}820 个评估片段中，TabPFN 在负对数似然 (NLL) 和预期校准误差 (ECE) 上实现了 9 个分类头中的最佳平均排名。在代表性设置下，相对于八个基线的平均值，它使 NLL 降低了 48--62\%，ECE 降低了 2.1--5.3$\times$，同时匹配或超过了它们的平均准确度。这种校准优势可以广泛传播，而精度优势是有条件的：它集中在中到高的射击次数和低到中等的特征尺寸（$k \ge 50$，$d \le 32$），并且当标记数据稀缺、特征尺寸很高或竞争方法接近最高精度时会减弱。骨干适应后，用 TabPFN 替换经过训练的线性头可以改善校准，同时保持有竞争力的准确性，这表明表示适应和可靠的头选择是互补的。总之，这些结果确定了 TabPFN 何时可以充当 无需训练 头，用于校准敏感的多模态分类。为了支持透明度和可重复性，我们在 GitHub 存储库中公开发布源代码、实验配置和评估脚本：https://github.com/Jingxiang-Zhang/tabpfn-multimodal-embeddings。