论文
GRRR：解码器 LLM 训练后重塑、旋转和路由的几何结构
GRRR: The Geometry of Reshaping, Rotation, and Routing in Decoder LLM post-training
摘要
我们研究训练后如何改变大型语言模型（LLM）相对于预训练权重的权重。在具有监督微调 (SFT) 和强化学习 (RL) 的 12 个后训练链中，我们在预训练矩阵的奇异值分解 (SVD) 框架中表达每个权重更新。这种分解将三个几何上不同的分量的变化分开：对角线值，它重塑奇异值；非对角值，旋转预训练输入和输出方向之间的耦合；和零空间值，其路由到矩阵的原始非零 SVD 核心之外。在数学评估套件中，我们发现删除对角线分量通常可以保留训练后的大部分收益。这些结果表明，训练后的增益主要是通过重新配置和扩展预训练路径来实现的，而不是通过大幅改变预训练模型的奇异值来实现的。