大语言模型中上下文特征敏感性的出现

在指令 微调 (IFT) 期间，大语言模型 (LLM) 通过使用提供的上下文来回答查询来学习遵循指令。虽然之前的工作已经研究了上下文特征如何与 LLM 的上下文使用相关联，但这种分析仅限于推理时间，而首先如何获取这些关系仍然是未知数。在这里，我们测量模型对这些特征的敏感性如何在连续的 IFT 阶段中变化：监督 微调 (SFT)、直接偏好优化 (DPO) 和可验证奖励的强化学习 (RLVR)。跨四个模型和三个数据集的实验表明，SFT 使模型更有可能使用易于理解的上下文，例如包含高长度、上下文查询相似性和流畅性。 SFT 后的动态可能会强化或解决这些偏好，具体取决于训练数据集。我们的研究结果表明，上下文的使用在每个 IFT 阶段都会被主动重塑，设计一个平衡的 IFT 数据集对于确保指令调整模型的上下文使用稳健非常重要。