绘制 大语言模型 的读数以实现可扩展的数据归属和评估

数据归因和评估对于理解 大语言模型 (LLM) 的数据模型协同作用至关重要，但现有的基于梯度的方法在 LLM 上面临可扩展性挑战。受人类认知的启发，决策依赖于相关记忆的集中读出，而不是重播所有路径，我们引入了 RISE（读出影响草图估计器）。 RISE 不是在整个 LLM 上计算和索引梯度，而是专注于输出层的影响热点，那里的影响信号集中，并且梯度允许分解的外积形式。这使得双通道表示能够结合词汇残差通道（RH）和语义投影误差通道（GH）。将 CountSketch 投影应用于这些渠道可实现强大的压缩，同时保持准确的归因。在 OLMo (1B-32B) 和 Pythia (14M-6.9B) 系列中，与 RapidIn 相比，RISE 将索引存储减少高达 112$\times$，并可扩展到 32B 参数 LLM，其中 RapidIn 和 ZO-Inf 等基于梯度的基线变得内存不可行。我们根据两种范式评估 RISE：（1）回顾性归因，检索特定预测的有影响力的训练示例；（2）前瞻性评估，对候选数据效用进行零样本评分。我们在三个任务上验证 RISE：Howdy 后门数据检测、金融-医疗领域分离和 Brain Rot 高质量数据选择。在闭环 Brain Rot 研究中，对 RISE 选择的数据进行持续预训练可以产生一致的下游改进。总体而言，RISE 为现代 大语言模型 中的影响分析和训练数据选择提供了实用且可扩展的原语。