学习就是忘记：LLM 训练作为有损压缩

尽管 大语言模型 (LLM) 越来越流行，但我们对其表征空间的结构仍然了解有限。这限制了我们解释它们如何学习、学习什么或将它们与人类学习联系起来的能力。我们认为 LLM 最好被视为有损压缩的一个实例，在过度训练中，他们通过仅保留训练数据中与其目标相关的信息来学习。我们在模型中展示了 预训练 结果，该模型针对下一序列预测进行了最佳压缩，接近压缩上的信息瓶颈界限。在一系列开放权重模型中，每个模型的压缩方式都不同，这可能是由于所使用的数据和训练方法的差异所致。然而，即使在 LLM 的不同系列中，模型压缩的最优性以及其中存在的信息也可以预测各种基准的下游性能，使我们可以直接将表征结构与有关模型性能的可操作见解联系起来。在一般情况下，这里介绍的工作为这些模型如何学习可大规模部署提供了一个统一的信息理论框架。