探索复杂知识转移的异构模型合并方法

专用模型编码面向任务的行为，但将该行为转移到通用语言模型通常需要训练、蒸馏或表示对齐。我们研究这种能力是否可以直接在参数级别转移。我们应用了两种现有的免训练异构合并方法（先前已证明可以在通用语言模型之间转移知识）到专家到一般的转移，将专家捐赠者投影到接收者的形状中，并在没有梯度更新或语义对齐的情况下插入骨干参数。交叉合并 (IM) 注入与接收者形状匹配的前缀对齐的供体切片，而激活修剪合并 (APM) 使用前向传递激活统计数据来选择在注入之前保留哪些供体尺寸。通过嵌入、重新排名、奖励建模和 MoE 代码专家转移，这两种方法都改善了一般接收者，表明简单的异构合并可以在不同的专家角色之间转移能力。