论文
何时适应:用于保留保留域专业化的条件内存适配器
When to Adapt: Conditional Memory Adapters for Retention-Preserving Domain Specialization
摘要
部署在专业域中的 大语言模型 必须在不牺牲通用功能的情况下提高域内性能。现有的参数高效 微调 方法通常始终处于开启状态:它们学习到的扰动应用于每个输入,这可能会降低域外 (OOD) 性能。我们提出了 Engram Adapter,这是一个框架,它将预训练时间条件记忆重新用作冻结 LLM 的事后适配器。它使用本地 n-gram 模式的多通道匹配和显式占用跟踪作为轻量级选择性先验,使得域内输入上的残留注入更有可能,同时学习的标量门抑制不连贯的 OOD 检索。我们以 AG-News 和 MedMCQA 作为适应任务和涵盖推理、翻译、代码生成和法律推理的 OOD 基准对 Qwen3-4B 和 Qwen3-8B 进行评估。 Engram Adapter 提高了域内准确率,同时保留了 99.4%--100.1% 的平均 OOD 性能;在 LegalBench 上,它的平均水平略高于冻结的基本模型,而类似的始终在线基线则急剧下降。机制分析表明,尽管 OOD 激活非零,但门和投影衰减将残差减少至隐藏状态范数的约 0.08%,从而产生较小的 KL 漂移和可忽略不计的精度变化。这些结果表明,条件激活是在冷冻主干上实现模块化、保留保留域专业化的一条有前途的途径。