MADS：用于指令调优的模型感知多样化核心集选择

指令微调用于增强大语言模型（LLM）的指令跟随能力。随着指令微调数据量的增加，选择最优的核心组变得尤为重要。然而，确保核心集的多样性仍然是一个重大挑战。现有方法主要根据文本特征本身来区分不同的训练数据，与 LLM 自己对数据的理解和表示脱钩。为了解决这个问题，我们提出了一种模型感知多样化核心集选择方法，该方法根据 LLM 推理期间的神经激活状态来区分数据特征。这种方法使用模型固有的激活特征来有效地实例化基于覆盖的选择，以确保核心集中的多样性。我们在涵盖五项不同任务的六个基准上广泛评估我们的方法。在我们的方法中，3B 参数 LLM 选择的核心集在用于微调具有 7B、8B 和 13B 参数的较大模型时表现有效。在包含 52K 指令响应对的 Alpaca-GPT4 数据集上的实验结果表明，与在完整数据集上训练相比，由 Llama-3.2-3B-Instruct 选择的大小为原始数据集 15% 的核心集，在 微调 四个较大的基础模型上实现了 2.5% 的平均改进。实验结果表明，我们的方法增强了多个下游任务的模型性能，同时减少了数据需求。