层重要性揭示了 Transformer 和状态空间模型的什么？

Transformer 和状态空间模型 (SSM) 是序列模型的两个主要家族，一个核心的开放问题是为 Transformer 构建的分析知识能在多大程度上转移到 SSM。我们通过层重要性的视角来解决这个问题，层重要性支撑着两个系列的压缩、选择性微调和可解释性。我们将层重要性分解为两个不同的概念。 \emph{Necessity} 捕获预训练模型对层现有贡献的依赖程度，通过绕过该层的损失增加来衡量。 \emph{Plasticity} 捕获模型在微调过程中吸收新信息的位置，通过特定于任务的权重更新的幅度来衡量。我们的分析表明，这两个系列的行为根本不同：在每个评估的高达 $14$B 参数的剩余Transformer中，必要性和可塑性在深度上反对齐，而在评估的曼巴式 SSM 中，它们指向重叠区域。这种排列的符号也预测了下游的适应行为。在评估的 Transformer 中，将更新集中在最可塑层中会增加灾难性遗忘，而这种依赖于层的效应在评估的曼巴式 SSM 中消失。