重新思考持续学习中的迁移：基于重放的实现

持续学习研究部署的语言模型如何不断获取新任务，而无需从头开始进行昂贵的再训练。现有的方法，无论是基于经验回放的（重放存储的过去数据）还是无经验回放的（规范或隔离参数），绝大多数都针对一个目标：防止灾难性遗忘。前向传输，过去帮助未来，同时几乎完全通过参数重用来实现，根本没有明确说明何时应该进行传输。我们先一步开始：在设计一种转移机制之前，我们要问什么时候应该存在转移。我们用三个可衡量条件的框架来回答：目标任务必须在其自身有限的监督之外留有改进的空间，可转移的信息必须能够持续优化，并且重播必须来自兼容的先前任务。我们将此视图实例化为传输选择性重放（TSR），它选择预测有利于传入任务的重放数据，而不是不加区别地重放过去的示例。选择由零训练任务签名引导，而 蒸馏 保持了先前任务的稳定性。在低预算制度下的标准持续学习协议下，TSR 在保持稳定性的同时持续改进前向传输，在异构和同质任务流中优于现有的重放基线。更广泛地说，研究结果主张将迁移视为持续学习的首要目标，在设计之前就应该被理解。