MeRoTune：带有可调旋钮的 RoPE 安全合并

当您通过简单地平均权重来合并来自同一基本检查点的两个微调模型时，您隐含地假设它们的注意力子空间仍然对齐。最近的工作尝试通过学习每个模型的查询和关键投影的可逆校正矩阵 $M$ 来修复错位。此更正抵消了——在查询端使用 $M$，在关键端使用 $M^{-T}$——就在点积之前。然而，只有当投影和点积之间没有任何东西时，这种取消才是精确的。事实上，几乎所有现代开放权重语言模型都准确地放置了旋转位置嵌入（RoPE）。在本文中，我们表明，当且仅当 $M$ 与 RoPE 的每个位置旋转进行交换时，这种取消在 RoPE 下是准确的。我们推导出满足这一点的特定矩阵类别：在每个 RoPE 频率对内独立作用的缩放旋转。这形成了当前方法通常训练的无约束矩阵的严格的低维子集。在此基础上，我们将这个约束矩阵类转变为一种新的合并方法。在保持基本权重完全冻结的同时，两个微调各自学习自己的符合 RoPE 的校正矩阵。我们根据选定的混合比例优化这些修正，以便最终结果可以像表盘一样进行事后调整，而不是锁定在单个固定合并中。我们的默认方法以一种固定的混合比例进行训练，类似于 LoRA 提前设置其缩放超参数的方式。我们还尝试在每个训练步骤中随机重新采样混合比，并报告这两种方法的结果。