原型语言模型

了解哪些训练示例驱动输出对于审核、纠正和理解语言模型至关重要，但对于现代 LLM 来说，这仍然是昂贵的、近似的且很大程度上是事后的。标准语言模型通过密集的网络路径生成标记，导致训练数据的影响分布在参数中，而不是沿着显式的、可追踪的组件进行组织。我们引入了一种原型语言模型架构，即可解释序列建模原型（PRISM），它通过学习原型的稀疏非负混合形成每个预测，并使用聚类目标进行训练，将每个原型锚定到训练示例的连贯邻域。在使用多达 50B 个词元训练的从 130M 到 1.6B 参数的架构中，原型语言模型在匹配的密集基线的平均下游精度上超过或保持在 2.5 个百分点之内。我们表明，稀疏原型结构将损失景观中的曲率定位，产生更容易处理的 Hessian 矩阵，并且在消耗同等内存时，训练数据归因速度比事后基线快约 500 倍。校准线性原型控制器可以将下游精度提高大约 3 个点，同时将这些校正追溯到训练邻域，并且有针对性的原型抑制可以消除模型行为，而无需微调或产生可测量的质量损失。