学到了，然后失去了：预训练 中测量的单示例反事实

单个训练示例对最终模型的贡献通常是估计的，而不是测量的，因为测量它需要两次昂贵的完整 预训练 运行，这些运行在一批的一行中有所不同。我们小规模地运行了 24 次反事实假设。我们在 OpenWebText 上从头开始训练了 32 个 GPT-2 模型，参数为 124M，超过四个条件和八个种子。在 9,536 步中的第 200 步，在峰值学习率下，我们用携带 194 个词元段落的固定上下文注入替换了 256 行批次中的一行。三个注入条件是：1. 具有语料库证明主题的流畅散文，2. 具有与全批次梯度增量在 0.14% 以内匹配的捏造主题的流畅散文，以及 3. 随机键盘字符。第四种情况是未注射的双胞胎。这段文字是从一次曝光中学到的，然后就消失了。注射后 50 步，看到通道的手臂比没有看到通道的手臂预测通道的交叉熵分别为 0.039 和 0.044 纳特，八颗种子中的八颗种子的 p < 0.0001。在最后一步，我们没有检测到任一通道的差异（p = 0.25 和 p = 0.71），相对于 0.025 和 0.079 nat 的最小可检测效果，也没有检测到两个通道之间的差异（p = 0.54）。我们报告的每一个几何测量都是在衰减之后进行的。我们预先注册的插值损失屏障对比度为 +0.0068，p = 0.509，相对于 0.032 屏障单位的最小可检测效果。保留的交叉熵为 -0.00044，p = 0.310。每层居中的内核对齐无法检测到分离任何层的任何条件。重量位移达到种子到种子欧几里德距离的 44.1%，并且到训练中点时已解决 92%，而障碍达到种子到种子障碍的 3.0%。这两个数字相差大约 15 倍，这是一个下限。注入将模型重新定位在盆地内，而不将其移出。