广义特征空间中的保基优化

虽然微调有效地使基础模型适应专门的下游任务，但它可能会降低预训练期间获得的非目标能力。现有的遗忘感知方法通常通过专门的初始化或固定约束来寻求更安全的更新，但不规范训练期间的适应保留权衡。我们提出 Foundation Preserving LoRA (FoLoRA)，一个遗忘感知优化框架。在一阶保存条件的指导下，FoLoRA 定义了预训练代理激活的遗忘惩罚和下游任务激活的任务效用。然后，它通过广义瑞利商根据每单位遗忘惩罚的任务效用对更新方向进行评分。由此产生的光谱坐标系统能够实现方向明智的门控 Adam 更新，从而削弱训练期间惩罚方向的低效用。为了估计遗忘惩罚，FoLoRA 通过从预训练模型中采样来构建预训练代理校准数据，而不是依赖于单个代理数据集。适应后的数学、代码和指令实验表明，FoLoRA 在基线上实现了最强的保存适应平衡，通过非目标能力的最佳聚合保存来提高目标任务性能。