GIFT：用于增强指令调整语言模型的引导 微调 和迁移

适应指令调整语言模型的一个有前途的范例是在预训练的基础模型上学习特定于任务的更新，然后将它们合并到指令调整模型中。然而，现有方法通常将指令调整模型视为被动目标，仅在最终合并阶段参与，而不指导训练过程。我们提出了 GIFT（Guided 微调 and Transfer），这是一个简单而高效的框架，它将指令模型的指导融入到任务适应中。 GIFT 使用从指令调整模型派生的置信度信号在预训练基础模型上微调低秩适配器。然后将学习到的适配器合并到指令调整模型中，生成保留一般指令跟踪行为的任务专用模型。我们在多个模型系列和尺度的数学和知识密集型基准上评估 GIFT。结果表明，GIFT 始终优于直接 微调 和代表性的基于转移的基线，同时保持稳健的泛化和有利的测试时间缩放行为。