技术实践
腾讯混元让Hy4 preview参与自身研发:训练优化与推理系统调优
概述
背景:混元自2月重建基础设施以来平均每两个月迭代一个大版本,训练实验调度与推理调优负担重,团队尝试让模型直接参与研发迭代。做法:8月28日发布并开源的Hy4 preview(总参数770B、激活参数49B、上下文1M)首次进入自身研发链路:一方面参与训练方法、数据策略、评估体系和底层算子的自动优化,由模型提出方案、运行实验并依据结果继续迭代,实验产生的代码、日志和反馈进入下一轮探索,形成初步的递归自我改进闭环;另一方面自主分析推理系统瓶颈,围绕算子融合、通信优化等方向开展多轮改进。已披露结果:推理系统端到端吞吐较基线提升31.8%,官方称在不同上下文长度和并发度下均取得稳定收益;训练方法、数据策略等研发环节没有独立收益指标,硬件配置与基线细节未披露。边界与必要条件:两项实践均为官方自述、处于实验阶段,官方措辞为「初步展现自主开展推理基础设施优化的能力」;31.8%依赖其特定模型与集群环境,其他团队复现需对齐条件;方案取舍与上线决策仍由人把关。