ZGCM-1：一种完全开放且极其高效的数学与智能体搜索基础模型

本文提出了ZGCM-1，一个完全开放的7B密集型基础模型，从零开始训练，在数据、系统和算法方面追求极高效率。该模型基于核心理念：紧凑模型无法被动记忆开放网络，但可通过结合主动的内部思考与外部工具使用突破参数容量限制。为支持在256K上下文下的这一范式，我们开发了一种端到端、高效率的开放训练方案：架构与系统协同设计，采用交错门控滑动窗口与全注意力机制，以及稳定性的FP8 Muon优化器；渐进式课程与MDP中训练：在16K、64K和256K上下文规模上扩展，将交互轨迹重新表述为马尔可夫决策过程。此外，我们建立了AI原生的研发工作流，其中智能体群组自主管理集群操作、数据整理和快速诊断评估。大量评估表明，ZGCM-1-7B在7B模型家族的通用基准上具有竞争力。在多个具有挑战性的数学推理和智能体搜索任务套件中，其表现仍能与前沿模型（如Qwen3-235B-A22B和GLM-5.1）保持竞争力，后者参数规模高出若干数量级。我们还证明，预训练设计在16K预训练阶段在达到相同损失的耗时上提升约4.2倍效率。全生命周期中，我们提炼出八项可操作的实证发现，涵盖架构扩展、SFT质量修剪、长上下文泛化及智能体协同训练动态。为促进社区研究，我们开源了预训练、中训练和后训练阶段的模型权重、中间检查点、训练代码、各阶段数据及数据配方，以及W&B日志。