ZAYA1-8B技术报告 | 沙丘社区

摘要

我们提出ZAYA1-8B：一个面向推理的混合专家（MoE）模型，700M激活、8B总参，基于Zyphra的MoE++架构。ZAYA1-8B的核心预训练、中间训练与监督微调（SFT）在AMD全栈计算、网络与软件平台上完成。以不足1B的激活参数，ZAYA1-8B在多个高难数学与编码基准上匹敌或超越DeepSeek-R1-0528，并与大得多的开放权重推理模型保持竞争力。ZAYA1-8B从预训练起即面向推理从头训练，采用保答案修剪方案从预训练起纳入推理数据。后训练采用四阶段RL级联：数学与谜题的推理热身；400任务的RLVE-Gym课程；带测试时计算轨迹与源自竞赛编程参考的合成代码环境的数学与代码RL；以及面向聊天与指令遵循的行为RL。我们还引入Markovian RSA：一种测试时计算方法，递归聚合并行推理轨迹，同时只在轮间携带有限长度的推理尾部。在TTC评估中，Markovian RSA把ZAYA1-8B提升到AIME'25的91.9%与HMMT'25的89.6%，而仅携带4K-token尾部，缩小了与Gemini-2.5 Pro、DeepSeek-V3.2、GPT-5-High等大得多的推理模型的差距。

ZAYA1-8B技术报告：论文配图 — 图 11：ZAYA1-8B 和 Qwen3-4B-Thinking-2507 的测试时计算缩放。两个模型都使用相同的 TTC 程序（马尔可夫 RSA，T=2T=2、β=16K\beta=16\mathrm{K} 和 τ=4K\tau=4\mathrm{K}），TTC 和非 TTC 运行的最终响应预算均为 40K（模型卡中推荐的采样参数用于 Qwen 模型），因此性能差异反映了利用聚合能力的模型级别差异。 ZAYA1-8B 在训练中期看到了长 CoT 推理数据，在 SFT 和 RL 期间看到了基于聚合的数据； Qwen3-4B-Thinking-2507 未针对此特定聚合工作流程进行训练。我们将这种差距解释为训练设计效果的证据，而不是方法差异的证据。