GenAI研究的环境足迹：来自Moshi基础模型的洞见

新的多模态大语言模型（MLLM）正以快速的开发周期不断被训练和部署。这股生成式AI热潮正推动能耗、温室气体排放以及与数据中心建设和硬件制造相关的诸多其他环境影响持续攀升。由于该领域主要参与者整体缺乏透明度，减轻GenAI的环境后果仍然充满挑战。即便提及特定模型的环境影响，通常也仅限于最终训练运行的碳足迹，而忽略了研发阶段。本工作通过对创建Moshi所耗费算力的细粒度分析来探究GenAI研究的影响。Moshi是由领先的非公募开放科学AI实验室Kyutai开发的70亿参数语音-文本实时对话基础模型。我们的研究首次深入剖析算力密集型MLLM研究的内部构成，量化投入到具体模型组件与训练阶段的GPU时间，以及早期实验、失败训练运行、调试与消融研究所耗费的算力。此外，我们采用生命周期评估方法从头到尾评估创建Moshi的环境影响：量化与数据中心硬件生产和使用相关的能耗、水耗、温室气体排放及矿产资源耗竭。我们详尽的分析使我们能够提供降低MLLM研究算力使用与环境影响的可操作指南，为更可持续的AI研究铺平道路。