通过特征基校正的一位梯度投影缩放大语言模型中的影响函数

影响函数估计单个训练示例如何影响大语言模型 (LLM) 的行为。分析训练数据如何影响大语言模型的不同行为涉及重复的影响计算。重用存储的训练梯度可以降低计算成本，但在大语言模型规模上存储完整梯度的成本过高。我们研究如何压缩这些梯度，同时保留对存储时未知的未来查询的影响估计。通过最坏情况分析，我们描述了最佳的固定维线性表示，并提出了特征基校正的一位梯度投影（EOGP）来大规模地近似它。具体来说，EOGP 使用 EK-FAC 来降低梯度维数，然后在保留的子空间内应用 PCA 从训练梯度中学习压缩方向。然后，我们对结果坐标应用一位量化，从而允许在固定存储预算内保留更多坐标。在 GPT-2 上，EOGP 比评估的压缩基线更准确地预测再训练结果，同时使用每个示例存储的十六分之一。在 1B 到 32B 参数的 OLMo 2 SFT 模型上，EOGP 与每个示例分配超过 100 倍存储空间的基线相比仍然具有竞争力。