LightMTP：轻量级潜在多token预测

Next-token预测 (NTP) 是大语言模型的标准预训练目标，但它仅为紧邻的下一个token提供显式的训练信号，这可能导致模型利用局部模式，而不是捕获更长期的结构和想法。多token预测 (MTP) 通过训练模型解决了这个问题，以预测多个未来的token。然而，现有的MTP方法经常引入大量新的参数，而下游性能的改进有限。潜在 MTP 方法通过将未来的token编码为向量表示来解决这个效率问题。然而，这些方法通常依赖于外部辅助模型来进行未来的token编码。我们提出了 LightMTP，一种轻量级的，即参数高效的潜在 MTP 方法，可以从模型自身的隐藏状态引导未来的token表示。我们的两个 LightMTP 变体将监督扩展到更多未来的token，不需要传统 MTP 的额外计算开销，也不需要通常依赖的外部监督潜在 MTP。 LightMTP 最多增加 1% 的额外参数，在通用语言建模基准上保留更好的性能，并在规划、编码和推理方面实现类似的收益。