MixSD：用于知识注入的混合上下文自我 蒸馏

有监督的 微调 (SFT) 被广泛用于向语言模型注入新知识，但它通常会降低预训练的能力，例如推理和通用领域性能。我们认为这种遗忘的出现是因为来自人类或外部系统的 微调 目标偏离模型的自回归分布，迫使优化器模仿低概率的标记序列。为了解决这个问题，我们提出了 MixSD，一种简单的无外部教师的方法，用于分布对齐的知识注入。 MixSD 不是针对固定目标进行训练，而是通过混合来自基础模型本身的两个条件的标记来动态构建监督：一个在上下文中观察注入事实的专家条件，以及一个反映模型原始先验的朴素条件。生成的监督序列保留了事实学习信号，同时仍然更接近基本模型的分布。我们在两个合成语料库上评估 MixSD，这两个合成语料库是为了在受控环境中研究事实回忆和算术函数获取而构建的，同时还为开放域事实问答和知识编辑建立了基准。在多个模型规模和设置中，与 SFT 和 同策略 自 蒸馏 基线相比，MixSD 始终实现了更好的记忆保留权衡，保留了高达 100% 的基础模型保留能力，同时保持近乎完美的训练准确性，而标准 SFT 保留率仅为 1%。我们进一步表明，MixSD 在基础模型下产生了显着较低的 NLL 监督目标，并减少了沿着 Fisher 敏感参数方向的有害运动。这些结果表明，将监督与模型的本地生成分布保持一致是知识注入的一个简单而有效的原则，可以减轻灾难性遗忘。