从数据到设备：ELMOD 一种高效的德国首创的 2.7B 移动推理语言模型

我们提出了 ELMOD - 用于设备上部署的高效语言模型 - 一种紧凑的 (2.7B) 德语模型，旨在对资源受限的硬件进行高效推理。 ELMOD 使用专门公开的数据在有限的计算预算（55k H100 GPU 小时）上进行训练。我们开发了一套针对德语的数据预处理，其在处理形态变化、复合和拼写约定方面与英语对应的数据预处理不同。此外，我们引入了质量过滤和改写步骤，这提高了数据的教学质量，提高了退火阶段的性能，并降低了总体计算要求。得益于我们的架构模型和数据选择，包括预过滤、教育质量过滤和改写以提高教育质量，ELMOD 是其规模类别 (<3B) 中表现最强的，与德语 7B 参数模型的性能相匹配。