有监督 微调 的分层分析

虽然对于对齐至关重要，但有监督的 微调 (SFT) 会带来灾难性遗忘的风险，但指令跟踪功能的分层出现仍然难以捉摸。我们通过跨模型尺度 (1B-32B) 的信息论、几何和优化指标进行综合分析来研究这种机制。我们的实验揭示了一种明显的深度依赖模式：中间层（20%-80%）是稳定的，而最终层表现出高灵敏度。利用这种洞察力，我们提出了中块高效调整（Mid-Block Efficient Tuning），它有选择地更新这些关键的中间层。根据经验，我们的方法在 GSM8K (OLMo2-7B) 上的性能优于标准 LoRA 高达 10.2%，并且参数开销减少，这表明有效的对齐在架构上是本地化的，而不是分布式的。该代码可在 https://anonymous.4open.science/r/base_sft 上公开获取。