神经元引导 微调：解锁 大语言模型 的高效对齐机制

现有的有监督 微调 范式，特别是全参数 微调 经常受到参数冗余、数据质量不一致和灾难性遗忘的困扰，当前的方法通常孤立地解决这些问题，并且缺乏统一的优化信号来桥接数据选择、参数更新和知识保存。为了解决这个问题，我们提出了 Neuron-Guided 微调 (NGFT)，这是一个整体框架，利用神经元激活模式作为通用代理来统一 微调 生命周期。 NGFT 通过三种协同机制进行操作：（1）自适应任务特定神经元选择，它在单个前向传递中识别必要的神经元，以集中更新并减少冗余； (2) 基于激活的数据选择，优先考虑对关键神经元贡献最大化的信息密集样本； (3) 神经元激活对齐，一种新颖的损失函数，它将激活锚定到预先训练的状态，深化表示学习并保留常识。跨越特定领域和通用基准的三个模型的实验结果表明，NGFT 在效率和性能方面均显着优于现有主流 微调 方法，同时有效减轻灾难性遗忘。