LP-SFT：通过多模态熵结构进行局部保留监督 微调

有监督的 微调 (SFT) 是使预训练语言模型适应下游域的标准方法，但它通常以降低预先存在的功能为代价来改进目标域行为。标准交叉熵 微调 仅提升观察到的标签标记，并且不受其他可能替代方案上概率质量重新分配的限制，可能会扭曲在预训练期间学到的丰富的本地偏好结构。我们首先使用 Shannon 和 Renyi 熵分析下一个标记预测，揭示预训练模型表现出规则的多模态熵结构。这些熵峰对应于不同数量的合理替代方案，表明基本模型本质上编码了超出单个监督词元的丰富分布知识。受这一观察的启发，我们提出了 LP-SFT，这是一种局部保护监督 微调 目标，旨在明确保护这种固有的熵结构。在每一步中，LP-SFT 都会从冻结的基础分布中构建替代词元的本地 top-K 支持。至关重要的是，它从该集合中删除了受监督的目标标记，以避免与交叉熵目标发生冲突，并应用局部归一化 KL 散度来维持基本模型在剩余非标签替代方案中的相对偏好结构。在混合域和单域 微调 实验中，LP-SFT 比普通 SFT 和最近的 SFT 增强基线提高了整体性能，实现了 pass@1 精度和 pass@k 性能之间的最佳平衡。这些结果表明，局部保护有助于减轻能力退化，而不会破坏采样可访问的多样性。