德语和英语的主权开源基金会模型

我们推出 Soofi S 30B-A3B，这是一个主权、开源专家混合 (MoE) 混合 Mamba Transformer 德语和英语基础模型。其混合设计仅激活每个词元 30B 参数中的 3B，并随着上下文的增长保持推理缓存接近恒定，这使其在长上下文、高并发部署方面比密集模型具有决定性的吞吐量优势。 Soofi S 在大约 27 万亿个词元上进行了预训练，并故意增加了德语权重，它在英语和德语聚合基准上匹配了密集的 14 至 27B 模型，同时在 17 个开放基础模型中实现了两种语言的最佳代码聚合，并且在我们的比较中优于每个欧洲主权基准，包括活跃参数大得多的基准。在全开放机型中，Soofi S获得了最高的英语和德语评测分数，领先于Olmo 3 32B和Apertus 70B。 Soofi S 是在德国工业人工智能云上端到端构建的，德国工业人工智能云是由慕尼黑德国电信运营的主权 HPC 规模人工智能基础设施。 Soofi S 将在高度宽松的开放获取条款下发布：权重、选定的中间检查点、完整的按源数据核算、超参数以及训练和评估代码。在源许可证允许的情况下，数据构建工件将在宽松的许可证下发布；商业许可的来源记录有汇总统计数据和精确的混合核算。