可恢复但不平稳:权重和激活中的局部线性结构

任务向量、LoRA、激活引导和围绕预训练权重的随机搜索都表明学习行为可以通过线性方向控制。我们询问哪些线性结构实际上存在以及以什么规模存在。在 DistilGPT-2 / GPT-2 上的合成多任务 Transformer 和 LoRA 适配器中，我们发现了强大的局部低秩任务梯度结构，但拒绝了固定任务平面假设：静态基错过了恢复方向，并且有用的基在 100 步内大幅漂移。然而，第一次恢复更新形成了轨迹前缀基础，捕获了 77% 的 LoRA 恢复位移。我们利用高斯局部线性定理开发了随机搜索理论，该定理证明了随机参数搜索的有效性，即使在非常高的维度上也是如此。我们还研究了参数扰动和激活转向之间的关系：单个梯度步骤对标记对比度 CAA 转向向量产生 0.58 余弦的激活偏移，对 Qwen-0.5B BoolQ 语句具有类似的转向效果。我们通过合成 Transformer 和 LLM 的实验验证了我们的结果。我们的结果表明，经过训练的网络中的线性结构不是全局任务方向，而是不断发展的局部几何结构，部分地跨参数和激活空间持续存在。