冻结深度，训练浅层：续 预训练 的可解释层分配

选择性逐层更新对于 大语言模型 (LLM) 的低成本持续 预训练 至关重要，但由于缺乏可解释的指导，确定冻结或训练哪些层仍然是一个经验黑盒问题。为了解决这个问题，我们提出了 LayerTracer，一种与架构无关的诊断框架，通过定位任务执行位置和量化层敏感性来揭示分层表示和稳定性的演化模式。分析结果表明，深层是任务执行的关键区域，并针对破坏性更新保持高稳定性。在这一发现的指导下，我们进行了三项受控持续 预训练 试验，以比较不同的冻结训练策略，证明在冻结深层的同时训练浅层始终优于全参数 微调 以及 C-Eval 和 CMMLU 基准上的相反分配。我们进一步提出了一个混合模型案例研究，它验证了将高质量的预训练模块放置在深层可以有效保留模型的固有知识。这项工作为资源有限的团队提供了一种低成本且可解释的解决方案，为持续的 预训练 和混合模型构建中的分层参数分配提供了可操作的指导。