固定词表偏置与温度只能部分补偿微调后的文本预测损失

当语言模型经过微调以遵循指令，或进一步针对新主题进行预训练时，它在预测标准网络文本方面通常会变得更糟。这就是所谓的“遗忘”。我们询问是否可以通过对模型的最终 token 预测进行简单、固定的调整来弥补这种损失。在 14 对基本模型和派生模型中，从 1B 到 7B 参数，我们为每个 token 拟合固定的加分或减分（词表偏置），既测试单独使用，也测试与温度参数联合使用。在未参与校正拟合的留出文本上，最大的 top-4K 偏差恢复估计低于 10%，其中损失是在保留词表上条件化计算的。将偏置与温度结合起来可恢复高达 36%。经过数学进一步预训练的模型损失最多，但几乎没有恢复。最后，在模型随机损坏的受控模拟中，没有植入偏差或温度变化，偏差加温度修复仍然恢复了 29%。大多数真实模型损失的增加超出了我们的受限拟合方法的恢复范围。