因果残差中迷失现象的伴随敏感性框架 Transformer

我们为因果残差 Transformer 中的位置影响开发了一个伴随敏感性框架，并将无条件分析结果与条件边界形状结论分开。主要无条件定理是收敛于 $L^1$ 的层控制的残差到深度流估计，并辅以有限词元到 Volterra 注意力估计，该估计明确控制因果端点附近的第一个单元。我们定义了归一化伴随能量影响密度，并推导出其沿全批次梯度流的精确演化。伴随项允许将生成项精确分解为残差传输、非局部 Volterra 和局部通道，包括所有协方差交叉项。因果掩蔽可以放大早期位置的敏感性，而残余身份路径可以传输正确定位的终端偏差，但这两种机制都不会单独强制形成 U 形轮廓。因此，我们在独立可检查的能量、相关性和局部通道边界下陈述边界优势；这些条件是充分的而不是必要的。有限词元影响平衡、位置重新加权和任务对齐可观察性被呈现为具有明确区分要求、计算成本和限制的诊断或正则化器。受控模拟表明，每次干预都控制其指定的替代项，而可观测性平衡或外环重新加权不需要单调减少基于影响的“中间迷失”诊断。