MemSFT：使用外部参数存储器减轻对准税

将 大语言模型 (LLM) 适应专门领域通常会产生对齐税，因为针对特定领域任务的 微调 可能会导致灾难性遗忘，并显着降低一般任务的性能。我们提出了 MemSFT，它通过即插即用的参数存储器将领域专业化与主干参数更新解耦，从而减轻对齐负担。存储器经过训练，可以模仿非参数 检索器 对领域数据进行操作的行为，从而记住原本可以通过检索访问的知识和模式。一旦在特定领域上进行训练，内存就可以在不同大小的 LLM 上重复使用。在生成过程中，学习路由器在每个解码步骤动态融合内存和骨干网的输出分布，从而允许有选择地调用领域专业知识。在生物学、地球科学和法律领域，对 Qwen3-8B 到 Qwen3-235B-A22B 等模型的评估表明，MemSFT 持续提高了领域性能，而一般性能的下降可以忽略不计，而完整的 SFT 在一般任务上会遭受严重的遗忘。总体而言，我们的结果展示了一种在参数级别将通用模型功能与特定领域知识解耦的实用路径，从而为 LLM 配备新的专业功能，而不影响其通用功能。