指数SLM技术报告

我们推出 Index-1.9B，这是 Bilibili 开发的一系列开放小语言模型。该系列包括四个模型： Index-1.9B-Base，一个基础模型，具有 19 亿个非嵌入参数，在 2.8 万亿个主要是中文和英文的标记上进行了预训练； Index-1.9B-Pure，一种使用相同配方训练的控制变体，但所有类似指令的数据都从语料库中严格过滤； Index-1.9B-Chat，从基本模型与监督 微调 和直接偏好优化对齐； Index-1.9B-Character，它通过检索增强生成来增强聊天模型，以实现少量角色扮演定制。 预训练 采用预热-稳定-衰减学习率计划，其中在衰减阶段大幅提高策划数据的浓度，以及在大学习率下稳定训练的 Norm-Head 输出层。在涵盖考试、推理、数学和代码的一系列标准基准测试中，Index-1.9B-Base 的平均得分为 64.92，与数倍于其规模的开放模型相媲美或超过。我们进一步报告了对模型深度、学习率幅度和调度、学习率衰减和数据质量之间的相互作用以及 预训练 期间包含指令数据的影响的对照研究，并且我们记录了在恒定学习率阶段中基准性能出现无法解释的激增。所有模型以及评估代码均在 https://github.com/bilibili/Index-1.9B 发布。