早期学习塑造了后续学习中表征变化的方向

随着网络学习新任务，表示不断变化。我们询问早期表征的变化是否自然地形成了一种几何结构，并继续影响后来的学习。我们确定了早期表示漂移的低维子空间，我们将其称为支架，并测试它是否在后续任务中重用。在四个预训练的视觉编码器和两个数据集中，后来的表征变化始终有利于这个早期定义的子空间，而不是匹配的随机替代方案。这种重用是依赖于历史的：当网络经历不同的早期任务但相同的后训练输入时，每个网络都会优先重用由自己的学习历史引起的支架。尽管网络的主要本地响应方向偏离了原始支架，但在各个优化器更新中也出现了相同的偏好。最后，支架内的约束运动比匹配的随机约束更能减慢新任务的获取，而对旧任务保留的影响则不太一致。总之，这些结果表明，早期经验对神经网络如何适应未来任务留下了持久的几何印记。代码可在 https://github.com/YuantaoDeng/latent-scaffold. 获取