HyperRepair以激活指纹生成侧网络，恢复微调后遗忘的通用能力

微调可以提高语言模型在目标领域的性能，但会削弱其通用能力。现有方法通常面临通用能力和领域专业化之间的权衡，因此很难同时保留两者。我们引入了 HyperRepair，这是一个框架，用于恢复通用能力，同时仅以推理成本保留领域专业化。为了使恢复可在共享预训练主干的模型之间推广，HyperRepair 从源模型上训练的修复中学习超网络。超网络使用激活指纹来总结预训练主干的变化，以生成定制的修复侧网络（RSN），其提示条件门选择性地应用校正。这使得能够从未见过的适配领域中恢复模型，而无需目标域示例或额外的优化。我们评估了两个模型系列、12 个 LoRA 适应数据集和 15 个通用基准的 HyperRepair。在默认数据划分下，HyperRepair 实现了基本模型平均总体得分的 93.4%，同时保留了微调模型平均领域得分的 99.5%。