CORAM：用于模型合并的相干正交旋转

合并微调模型结合了专业功能，无需联合训练或访问原始数据。大多数方法通过欧几里得权重空间中的线性算术进行操作，该算术不能承载更新的几何形状。正交模型合并（OrthoMerge）对每个权重矩阵使用单个正交变换，但这种变换不能改变奇异值。我们提出了 CORAM，它将每个目标矩阵划分为行切片，通过相应的基本模型 SVD 框架中的奇异值分解来表示每个专家切片，并将特定于任务的因素合并到其相应的流形上。由于流形平均会收缩合并更新，因此 CORAM 应用放大系数 $λ=κ\hat{c}$。规模 c_hat 是根据专家和合并的更新规范估计的，对于具有可比更新幅度的 $N$ 专家来说，其值约为 $\sqrt{N}$。恢复强度 kappa 是从专家更新的分散度中选择的，而不评估候选合并模型。该规则与所有评估套件的最佳扫描值的偏差保持在 0.72 点以内。 CORAM 还包括扩展切片，以跨切片分布高度更新的行，以及非目标层的剩余路径。在涵盖三个模型系列、3B 到 9B 量表以及语言和视觉语言专家的四个套件中，CORAM 比 OrthoMerge 提高了 0.25 到 1.35 个点，并且匹配或超过了最强的权重空间基线。