MAGNET：通过去中心化自动研究和 BitNet 训练生成自主专家模型

我们推出了 MAGNET（模型自主增长网络），这是一个去中心化系统，用于跨商用硬件自主生成、训练和服务领域专家语言模型。 MAGNET 集成了四个组件：(1) autoresearch，一个自主的 ML 研究管道，可自动执行数据集生成、超参数探索、评估和错误驱动迭代； (2) BitNet b1.58 三元训练，无需 GPU 硬件即可通过 bitnet.cpp 实现 CPU 原生推理； (3)基于DiLoCo的分布式合并，用于领域专家的通信高效聚合； (4) HOOTi EVM 链上的链上贡献跟踪。我们通过三个案例研究来验证自动研究：视频安全分类（平衡精度 0.9287 至 0.9851）、加密货币定向预测（41% 至 54.9% 命中率）和 BitNet 超参数优化（10 阶段扫描，-16.7% 验证损失）。