论文
Laguna M.1/XS.2 技术报告
Laguna M.1/XS.2 Technical Report
摘要
我们提出 Laguna M.1 和 Laguna XS.2，这是两个为长时程、代理式编码构建的专家混合（MoE）基础模型：M.1 总参数量为 225.8B（每 token 激活 23.4B），XS.2 总参数 33.4B（激活 3B）。两个模型均在同一个我们称为 Model Factory 的内部系统中从头端到端训练：这是一个由版本化的数据、训练、评估与推理组件紧密集成而成的堆栈，它把模型开发变成一个工业流程。我们描述 Model Factory 的原则与设计选择，并详细给出模型的端到端训练过程，涵盖预训练数据与架构、后训练各阶段、评估和量化。在代理式软件工程与终端基准（SWE-bench Verified、SWE-bench Multilingual、SWE-Bench Pro 和 Terminal-Bench 2.0）上，M.1 和 XS.2 与各自权重级别中最先进的开放模型具有竞争力。Laguna XS.2 权重已按 Apache 2.0 许可发布于 https://huggingface.co/collections/poolside/laguna-xs2。
