持续学习机制有助于长期记忆

语言模型可能需要内化随着时间的推移而到达的信息，并通过许多后续更新保留它。为了研究这一挑战，我们引入了长视野记忆，在这种设置中，模型通过持续监督的 微调 学习 100 个查询答案任务，而不保留早期的训练示例或在推理时接收任务标识符。连续的更新会导致灾难性的遗忘，我们评估的任何一种持续学习机制都无法在这个水平上保持强大的记忆力。我们假设，解决互补性遗忘来源的机制在组合起来时会更加有效。我们沿着两个设计维度组织这些组合。数据、函数和权重锚点指定每次更新应保留哪些先验信息，而低秩分配规则则确定保留连续更新的位置。为了系统地检验这一假设，我们构建了三个不同的 100 任务记忆数据集。我们引入任务级连续减半来搜索组合设计空间，并使用阶乘实验来测量个体和交互效应。我们最好的方法将所有三个锚点与合并的 LoRA 相结合，在所有数据集中排名前 3 名，并将平均最终保留率从朴素序列 微调 下的 1.2% 提高到 34.9%，提高了 28 倍。数据锚和合并的 LoRA 提供最大的平均增益，并在所有三个数据集上进行超加性交互。总之，这些结果表明，组合互补机制大大提高了长期记忆能力，超出了任何单独机制所能达到的效果。