Apertus LLM 系列通过 蒸馏 和量化进行扩展

LLM的广泛采用导致其在多种应用和场景中使用，例如聊天机器人助手和数据注释，从而需要模型满足一定的预算和硬件限制。这导致了LLM的趋势是批量发布由各种尺寸的类似模型组成的模型，以便该模型系列遵守尽可能广泛的约束。在本文中，我们验证了 蒸馏 和量化作为将模型系列扩展到新尺寸和硬件格式的经济有效的方法。基于开放配方 Apertus 8B LLM，我们生产了 Apertus-v1.1 - 一个精炼的模型系列，在 1.7T 许可词元上训练，具有多达 4B 的参数。我们展示了我们的方法的成本效益和强大的准确性性能，可满足大范围的硬件和系统要求。