通过模型分片扩展零阶预训练

零阶优化（ZO）训练不需要反向传播，使其与仅前向硬件和不可微损失相关，但其梯度方差随着扰动维度而增长，抑制大模型训练。分片优化混合组件 (SOMA) 使用同时扰动随机逼近 (SPSA) 在 $N$ 数据集群上独立训练 LSTM 专家，无需交换梯度、激活或优化器状态。其可分离损失消除了跨专家扰动噪声，但代价是跨领域联合学习表示。使用估计的 80,000 个 RTX 5090 GPU 小时，我们发现适度的分片比所有测试的单片 ZO 控件提高了训练计算效率。在 8.44M 参数和 150 个聚合 GPU 小时下，具有 64 个扰动的 SOMA $N=2$ 达到 1.76 测试 nats/字节，而单片 SPSA 在 64、256 或 1,024 个扰动下达到 2.00--2.11，EGGROLL 达到 2.21。在 WikiText-103 上，这些冻结检查点分别达到 2.07、2.25--2.36 和 2.49。在具有相同大小块的固定可分离目标上，我们证明独立损失将相对梯度方差减少到共享损失估计器的大约 1/N$。在三个种子进行 1,000 次更新后，保持起始权重、数据、扰动和计算固定、独立而不是求和损失，使 SOMA $N=4$ 测试损失降低了 0.035 纳特/字节。较大的集成提供了单独的推理优势：在具有 top-$k$ 路由 ($k=4$) 的相似模型大小下，SOMA $N=256$ 实现了 2.36M 词元/秒，而 SOMA $N=8$ 为 257k（$9.19\times$，包括路由），测试损失较低（1.68 与 1.71），尽管使用 $59.9\times$ 的聚合训练计算。我们发布所有训练和评估代码和检查点。