ORBIT：通过原始控制合并保留 GenRetrieval 中的基本语言功能

尽管 大语言模型 (LLM) 的开发取得了快速进步，但用于特定任务的 微调 通常会导致灾难性地忘记其基于语言的一般推理能力。这项工作在生成检索（GenRetrieval）任务的背景下调查并解决了这一挑战。在 GenRetrieval 微调 期间，我们发现这种遗忘发生得很快，并且与微调模型参数和原始模型参数之间的距离相关。鉴于这些观察结果，我们提出了 ORBIT，这是一种主动跟踪微调模型权重和初始模型权重之间的距离的新方法，并在 GenRetrieval 微调 期间当模型间距离超过最大阈值时使用权重平均策略来约束模型漂移。我们的结果表明，ORBIT 通过超越常见的持续学习基线和也采用权重平均的相关正则化方法，保留了大量的文本和检索性能。