对超大型阿拉伯语言模型 Noor 碳足迹的全面评估

随着更大的语言模型变得越来越普遍，考虑它们对环境的影响至关重要。最近几代模型以极端的规模和资源使用为特征，因其对计算的贪婪需求以及因此产生的巨大碳足迹而受到批评。尽管碳影响报告在机器学习论文中变得越来越普遍，但这种报告通常仅限于严格用于训练的计算资源。在这项工作中，我们提出对超大规模语言模型 Noor 的足迹进行整体评估。 Noor 是一个正在进行的项目，旨在开发最大的多任务阿拉伯语言模型（参数高达 13B），利用零样本泛化通过自然语言指令实现广泛的下游任务。我们评估整个项目的碳排放总量：从数据收集和存储成本开始，包括研发预算、预训练成本、未来服务估算以及本次国际合作所需的其他外生成本。值得注意的是，我们发现推理成本和外生因素会对总预算产生重大影响。最后，我们讨论减少极端规模模型碳足迹的途径。