HEBATRON：希伯来语专用的开放权重专家混合语言模型

我们推出了 Hebatron，这是一种基于 NVIDIA Nemotron-3 稀疏专家混合架构构建的希伯来语专用开放权重 大语言模型。训练采用三阶段由浅入深的课程，并持续防遗忘锚定，随后对 200 万个希伯来语-英语双语样本进行监督 微调。仅课程顺序就比反向配置产生了 3 点的总体基准增益。 Hebatron 的希伯来语推理平均值为 73.8\%，优于 DictaLM-3.0-24B-Thinking (68.9\%)，并在 GSM8K-HE 和 Israel Trivia 上与 Gemma-3-27B-IT 保持竞争力，同时在 30B 参数模型中每次前向传递仅激活 3B 参数，在本机上下文长度高达 65,536 时提供大约 9 倍的推理吞吐量词元。据我们所知，这是 Nemotron-3 架构针对任何目标语言的第一个针对特定语言的改编，也是第一个具有本机长上下文支持的开放式希伯来语专用 MoE 模型。模型权重的公开发布是为了支持希伯来语和闪族语言 NLP 的进一步研究。