标准化陷阱：验证表格基础模型的联合标签处理

摘要

线性回归和核平滑为上下文学习提供了易于理解的解释：在这两种方法中，特征决定了分配给每个上下文标签的权重。然而，这个固定权重帐户是否描述了预训练的表格基础模型（TFM）仍不清楚。使用导数测试此帐户会遇到标准化陷阱：公共 TFM 包在模型看到标签之前对标签进行标准化，而普通导数也反映了标准化标签集之外的行为，使得模型看起来是非线性的，即使它所做的每个预测都与固定权重图一致。我们提出了两个证书，它们仅依赖于标准化标签的预测，并且可以拒绝两种不同的解释：固定权重预测和独立非线性标签变换的总和。在我们评估的五个公共 TFM 中，我们的证书表明，更改一个上下文标签会改变其他标签影响预测的方式，我们将这种行为称为联合处理。我们进一步发现联合处理随着训练出现，并且注意力分数承载了大部分测量到的交互。总之，这些发现激发了 TFM 的解释，解释了上下文标签如何改变单个示例的影响。

标准化陷阱：验证表格基础模型的联合标签处理：论文原图 — 图 2：标准化陷阱和两个证书（§3.2）。 a：网络只能看到标准化流形 $\mathcal{M}$ 上的标签，但导数也会对离开它的标签变化做出反应。对于标签扰动 $v\in\mathbb{R}^{n}$，投影算子 $P_{T}$ 保持沿 $\mathcal{M}$ 滑动的部分，因此一小步可以保持标签均值，并且仅可忽略不计地改变标签范数。 b：每个形状显示切空间内沿着每个方向 $u$ 的预测曲线的强度，绘制为距中心的距离。该曲率分成每个方向都相等的部分 $\lambda P_{T}$ 和其余部分 $T$。诸如 $g_{a}$ 之类在 $\mathcal{M}$ 上仿射的函数只能产生第一部分（引理 1），因此 $A_{T}=\lVert T\rVert_{F}$ 测量此类映射无法解释的内容。为了可见性，相等的部分被放大。 c：$\mathcal{S}$ 包含每个标签单独变换时出现的每个曲率模式，如 $g_{a,\phi}$ 中所示。 $P_{\mathcal{S}}T$ 是与 $T$ 最接近的模式，剩下的长度是 $X_{\mathrm{sep}}$ （引理 2）。 d：在构造的 Hessian 上执行相同的步骤。它总结了仅在 $\mathcal{M}$ 上起作用的项、每个标签的单独效果以及标签对之间的耦合。仅成对耦合达到$T-P_{\mathcal{S}}T$。