为企业软件工程定制 LLM

企业软件开发是一个持续演进的过程，其特点是增量添加、架构修订、生产部署和严格维护。这些活动会生成有价值的数据，现代 LLM 可以对其进行微调，从而为企业软件工程释放更多工具的可能性。虽然前沿 LLM 已经非常强大，但这种形式的定制为企业特定的优化提供了一条引人注目的途径。我们推出 Gemini for Google (GfG)}，这是专门针对 Google 内部软件工程生态系统的 Gemini 改编版。本文详细介绍了该模型的端到端开发，从整理万亿词元的专有数据集到实施减轻灾难性遗忘的中期训练策略。在一项针对 29,000 名开发人员的大规模盲 A/B 研究中，Gemini for Google 的性能显着优于基线：每轮平均迭代次数减少了 23%，代码存活率提高了约 17%。除了指标之外，我们还为企业模型适配提供了全面的蓝图，涵盖：（1）从软件工程数据中提取高价值信号，（2）数据准备策略，（3）全栈模型调优（续预训练和后训练），以及（4）下游应用程序的部署。我们相信这种方法为其他组织提供了一条可复制的途径，以释放其内部工程数据的全部潜力。