了解模型尺寸插值中的图层修补

零样本模型尺寸插值旨在通过组合现有模型来创建中间目标尺寸的新模型，而无需额外训练。最近关于回旋镖 蒸馏 的研究 [Kangaslahti et al., 2026] 表明，从较大的教师中提取的学生语言模型可以通过迭代修补其层来扩展，用教师层的连续块替换学生层，以获得大小和性能在学生和教师之间插值的模型。在这项工作中，我们首次系统地研究了模型大小插值的学生层选择。我们将寻找每个模型大小的最优层子集作为一个优化问题，并证明它可以被视为某个非循环图中的最短路径问题。在实验中，我们表明修补强烈地塑造了插值行为，其效果在不同模型系列之间存在很大差异。我们发现简单的顺序策略（从第一层到最后一层或从最后一层到第一层进行修补）在实践中通常会取得令人惊讶的强大性能。我们进一步介绍了 KLPatch，一种基于 KL 散度的贪婪修补算法，它通常比从后到先的修补有所改进，并近似解决了优化问题。总之，我们的结果提供了对层修补如何影响模型大小插值的原则性理解，并为构建接近最优的插值模型提供了实用指导。