按需重播：在持续预训练中平衡适应和遗忘的新兴课程

持续的预训练使语言模型能够适应新的领域和知识，但通常是以忘记以前获得的能力为代价的。重放可以减轻这种权衡，但固定重放混合会独立于模型的实际保留需求来分配训练。我们引入了按需重放（RoD），它从模型的学习动态中得出重放分配。 RoD 联合根据剩余学习潜力对适应样本进行优先级排序，并根据观察到的遗忘情况重放样本。他们对共享训练预算的竞争产生了一个在线课程，该课程决定了每一步的训练内容。在模型、尺度和适应领域，RoD 达到或改进了调整的固定重放基线和模型合并的适应遗忘边界，而无需提前规定重放分配。重播集中于更容易遗忘的来源，并随着训练期间遗忘的出现而动态增加和重新分配。总之，我们的结果表明，重播可以根据模型的演变状态在线分配，在需要时针对需要的内容进行分配。