Jais 2：以阿拉伯语为中心的家族开放 大语言模型

Jais 2 是由 MBZUAI、Cerebras 和 Inception 联合开发的以阿拉伯语为中心的 大语言模型 系列，旨在推进以阿拉伯语为中心的语言建模，在本报告评估的阿拉伯语和文化基准中具有出色的性能。据我们所知，该系列包括最大的以阿拉伯语为中心的开放式 LLM，在 70B 参数上从头开始训练，以及在评估的开放模型中具有竞争力的 8B 参数变体。以阿拉伯语为中心的定制词汇可以实现高效的训练和推理。此外，优化的架构和训练方法可产生高度计算效率的训练。 Jais 2 的 词元预算 比同类型号小得多，因此在本报告中考虑的基准和具有竞争力的英语结果上实现了强大的阿拉伯语性能。该模型在OALL2和AraGen上评估的开放模型中取得了领先的结果。他们还在一些基于文化的阿拉伯语基准上表现出色，包括诗歌、宗教、美食和解梦，以及翻译和摘要等一般任务。我们根据商业许可在 HuggingFace 中发布模型。 Jais 2 70B 还作为聊天应用程序在 Web、iOS 和 Android 上发布；它在 Cerebras 硬件上运行，每秒提供高达 2,000 个词元，并在我们的部署设置中实现以阿拉伯语为中心的高吞吐量聊天服务。通过将规模、语言多样性、文化保真度、开放性和速度结合起来，Jais 2 提供了一个开放权重基础，旨在支持以阿拉伯语为中心的 LLM 的进一步研究和开发。