DARTS：通过模型合并手术进行解码器感知表示调整

模型合并将多个特定于任务的微调 LLM 合并为单个多任务模型，无需额外训练。然而，众所周知，合并模型会遭受表示偏差：合并模型的隐藏状态与每个单独源模型的隐藏状态之间的系统漂移。之前的工作（Yang 等人，2024a）使用经过 L1 损失训练的轻量级校正模块来研究并减轻基于编码器的视觉模型的这种偏差。然而，由于解码器模型的自回归性质，这种偏差并未被研究。我们分析了解码器模型中的表示偏差问题，并展示了编码器中不存在的两个挑战：（1）因果注意掩模导致偏差在词元位置上累积，需要位置相关的校正； (2) 并非所有词元位置都同等重要，即高熵（决策关键）位置比低熵位置重要得多。为了应对这些挑战，我们提出了通过手术进行解码器感知表示调整（DARTS）。 DARTS 采用了一种新颖的熵加权 L1 损失来在高熵位置上进行权重校正，其中错误对生成质量影响最大，并且每个位置的加性偏差可以捕获位置相关的错误而无需过度参数化。我们对 Llama-2-7B 模型上的代码生成 (HumanEval)、数学推理 (GSM8K) 和指令遵循 (AlpacaEval) 三个领域进行了广泛的评估，并表明 DARTS 在添加可忽略不计的参数（总参数的 $0.1\%$）的同时实现了对标准手术方法的显着改进。