用于探索、纯化和模型合并的光谱重新布线

强化学习已成为 大语言模型 的标准 后训练 配方，但密集的全参数更新会产生两个与部署相关的瓶颈：抑制推理性能（通常通过测试时间扩展的过早饱和反映出来），以及通过多域训练或模型合并来整合多种功能时的干扰。我们表明，这些更新的推理有效组件主要集中在基础模型的光谱空间中，从而激发了子空间对齐重新布线（SAR），这是一种事后编辑方法，可以保留该光谱核心，同时删除正交组件。因此，SAR 保留了推理增益并过滤了抑制性能或放大跨域干扰的残余更新方向。在多个模型系列和规模中，SAR 使用少至约 0.58% 的总参数来提取紧凑推理核心：它保留了超过 99% 的 后训练 性能，并改进了数学推理中的高 k 探索，并通过改进内部模型上的七个开放基准中的六个来推广到代理编码。 SAR 还通过释放抑制编码能力来净化混合域训练更新，同时保持数学推理和指令遵循。它进一步实现了跨专家的模型合并，产生的跨领域泛化能力超越了以前的合并基线，甚至超越了最好的单领域专家。总体而言，SAR 表明从参数几何中提取推理有效的更新可以作为 无需训练 机制来提高推理和多域性能。