Enemray：为 Hassaniya 开发可行的语言模型

我们引入 Enemray，这是一种以 Hassaniya 为中心的语言模型，可以在 Hassaniya 中实现通用交互。 Enemray 围绕稳定性-可塑性目标进行训练：获得强大的 Hassaniya 语言和文化能力，同时保留有能力的指令调整模型的一般推理、多语言、指令遵循和安全行为。开发流程将语言习得与行为专业化分开。单独组装的持续预训练语料库提供了对自然哈桑尼亚语和毛里塔尼亚语文本的广泛接触；层选择性连续预训练学习紧凑的特定于语言的参数更新；该更新被转移到指令调整的参数空间中；受监督的后训练培养会话、文化、文学、任务导向和跨语言行为。受监督的语料库将选定的公共哈桑尼亚和毛里塔尼亚资源与新收集、重建、策划和构建的指令数据相结合，而策略生成的重播则提供了来自参考模型自身行为分布的保留信号。由此产生的集合比现有的哈桑尼亚文本资源更大、用途更广泛。在评估中，Enemray 在比较开放和专有模型中实现了最强的英语到哈桑尼亚翻译，以及毛里塔尼亚语翻译错误检测的最高总分，同时保留了其指令调整基础模型在数学推理、知识、代码生成和函数调用方面的大部分通用功能。本报告描述了 Enemray 的动机、数据构建、模型设计、训练方法和评估。