局部化适配揭示Transformer中不同的学习签名

Transformer适配通常分布于模型各深度层，即便预期的改变范围很窄。我们研究适配位置如何塑造模型学到什么、该学习的泛化程度以及应用时的选择性。我们构建了一个覆盖五种目标（词汇绑定、事实关联、行为策略学习、因果映射与程序性推理）的受控基准，并将每种目标的“适配几何”定义为其在全栈以及早层、中层或晚层LoRA下习得、迁移与有界性的轮廓。各目标展现出不同的几何特征。词汇绑定在习得与有界性上偏好早层适配，但迁移需要更广泛的更新；事实关联在局部适配器中偏好较晚层；行为学习将晚层的动作习得与中层的策略门控分离开来；因果与程序性迁移则从中间层或全栈适配中获益最多。这些模式在参数匹配对照下基本保持，且大多数相应的方向性对比在五个模型家族上得到复现。这些发现确立了适配位置作为一项关键设计变量，用于控制模型学什么、泛化什么以及保持什么不变。