论文
MIITA:面向小语言模型持续学习的记忆诱导推理时适应
MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models
摘要
持续学习(CL)对小语言模型(SLM)在资源受限部署中适应不断变化的现实需求至关重要。然而,直接更新其有限的参数空间会导致灾难性遗忘。基于记忆的方法通过将知识保留与参数解耦,自然地解决这一问题,但为大型语言模型(LLM)设计的现有方法依赖SLM所缺乏的充裕存储和强大的上下文内推理。为应对这些挑战,我们提出MIITA,一个面向受存储约束下监督式持续学习的记忆诱导推理时适应框架。MIITA将监督经验存储为带语义锚点的紧凑校正方向原型,并在推理时利用语义和基于不确定性的线索进行检索。检索到的方向通过门控的临时隐状态适应来应用,无需骨干更新、提示扩展或测试时反向传播,即可非破坏性地复用过去的监督。局部理论分析将这一设计与一阶损失下降、不确定性引导检索以及保留旧阶段知识的方向覆盖联系起来。在多样化监督式持续学习设置上的大量实验表明,MIITA在固定记忆预算下持续提升最终性能并缓解遗忘。
