Matryoshka语言模型套件：单架构嵌套联合训练多尺寸子模型

传统上训练语言模型套件需要分别训练每个模型并独立部署服务。我们通过将尺寸递增的子模型堆叠进单一嵌套架构并端到端训练，同时提升训练与推理效率。这一Matryoshka训练框架降低了套件的总参数量，能在每个训练步骤以低成本从最大模型蒸馏到所有更小的子模型，并且由于草稿模型包含在验证模型之内，天然适合投机解码。我们通过训练一个包含500M、1.5B和3B子模型的Matryoshka套件来验证该方法。该套件在基准性能以及验证集与域外困惑度上与独立训练的基线相当，同时训练算力减少36%，投机解码吞吐提升14-26%。我们还在消融实验中考察了关键架构选择，为构建强大的Matryoshka LM套件提供指导。