Super Apriel：一个检查站，多种速度

我们发布了 Super Apriel，一个 15B 参数的超网络，其中每个解码器层都提供四种经过训练的混合器选择 - Full Attention (FA)、Sliding Window Attention (SWA)、Kimi Delta Attention (KDA) 和 Gated DeltaNet (GDN)。放置为每层选择一个混合器；可以在服务时间在请求之间切换位置，而无需重新加载权重，从而可以从单个检查点实现多个速度预设。共享检查点还可以启用 推测解码，而无需单独的草稿模型。所有 FA 预设在所有报告的基准测试中均与 Apriel 1.6 教师相匹配；推荐的混合预设涵盖 $2.9\times$ 到 $10.7\times$ 的解码吞吐量，质量保留率为 96% 到 77%，吞吐量优势在较长的上下文长度下更加显着。四种混合器类型横跨 48 层，配置空间广阔。从每层混合器分配预测放置质量的代理使速度质量景观易于处理，并确定每个速度级别的最佳权衡。我们研究是否可以在训练早期或仅在收敛后确定每个速度级别的最佳配置。排名在 0.5B 规模上快速稳定，但最有效的配置在 15B 规模上表现出更高的不稳定性，警告不要从较小的模型进行推断。 Super Apriel 由冻结的 Apriel 1.6 教师的随机 蒸馏 进行训练，然后是受监督的 微调。我们发布了超网权重、Fast-LLM 训练代码、vLLM 服务代码和布局优化工具包。