ResMerge：大语言模型 的基于残差的光谱合并

模型合并提供了一种 无需训练 方式来组合多个经过训练的专家模型，但合并通过强化学习 (RL) 获得的专家仍然具有挑战性。现有的频谱合并方法通常假设前导奇异方向包含主要任务信号，而可以压缩、选择或衰减较低能量的残余分量以减少干扰。我们发现这个假设对于 RL 任务向量并不成立：将每个任务向量分解为前导谱头和残差分量后，两个部分都可以独立地恢复大量行为知识，同时表现出不同的合并属性。头部高度集中，信息丰富，但更容易产生尖锐的跨专家冲突，而剩余部分则更加分散，为聚合提供了更稳定的基础。基于这一观察，我们提出了 ResMerge，这是一种为 RL 专家提供的基于残差的谱合并框架。 ResMerge 首先使用球形残差共识自适应构建稳定的残差主干，估计 Frobenius 球上的可靠性加权共识方向。然后，它通过由积极的跨专家协议控制的轻量级头部校正模块重新引入领先头部信息。跨多个 RL 专家组和能力域的实验表明，ResMerge 比代表性任务向量和谱合并基线更好地保留了专家能力。