TuneShift-KD：知识蒸馏 和微调模型的传输

为了将特定领域或专业知识嵌入到预先训练的基础模型中，微调 使用参数高效 微调（例如 LoRA）等技术是一种常见的做法。然而，随着新的 LLM 架构和预训练模型的出现，将这些专业知识转移到更新的模型成为一项重要任务。在许多场景中，由于隐私或商业限制，原始专业数据可能不可用，因此需要 蒸馏 并将这些专业知识从微调的基础模型转移到不同的预训练模型。我们提出了 TuneShift-KD，这是一种新颖的方法，它仅使用几个代表专业信息的示例，自动将专业知识从微调模型提取到目标模型。我们的主要见解是，可以通过基础模型和微调模型之间的困惑度差异来识别专业知识：提示微调模型自信地响应（低困惑度），但基础模型挣扎（高困惑度），指示与微调模型学习的专业知识相对应的查询。 TuneShift-KD 利用这种洞察力创建综合训练数据集来传输专业知识。使用迭代过程，TuneShift-KD 会生成更多提示，类似于使用专业知识生成响应的提示。 TuneShift-KD 不需要训练鉴别器或访问训练数据集。这是一种自动化方法，只需要初始的微调和基础模型以及一些有代表性的提示。我们的实验表明，使用 TuneShift-KD 微调的模型比以前的方法具有更高的准确性，从而易于部署并更有效地传输专业知识。