论文

主关键假设:通过线性子空间对齐解锁跨模型能力转移

The Master Key Hypothesis: Unlocking Cross-Model Capability Transfer via Linear Subspace Alignment

模型优化模型合并

摘要

我们研究训练后的能力是否可以在不重新训练的情况下跨模型转移,重点是跨不同模型规模的转移。我们提出了主关键假设,该假设指出模型能力对应于低维潜在子空间中的方向,这些方向会引起特定的行为,并且可以通过线性对齐在模型之间转移。基于这个假设,我们引入了 UNLOCK,一个 无需训练 和无标签框架,它通过对比存在能力和不存在能力的源变体之间的激活来提取能力方向,通过低秩线性变换将其与目标模型对齐,并在推理时应用它来引发行为。推理行为(包括思想链 (CoT) 和数学推理)的实验表明,无需训练即可在模型规模上取得显着改进。例如,将 CoT 推理从 Qwen1.5-14B 转移到 Qwen1.5-7B 可使 MATH 的准确性提高 12.1%,将数学推理方向从 Qwen3-4B-Base 转移到 Qwen3-14B-Base 将 AGIEval 数学准确性从 61.1% 提高到 71.3%,超过 14B 训练后模型所达到的 67.8%。我们的分析表明,迁移的成功取决于在 预训练 期间学到的能力,并且我们的干预通过锐化输出分布以实现成功的推理轨迹来放大潜在能力。