通过 Frechet 平均值推广模型合并的几何结构

模型合并旨在将多个模型合并为一个模型，而无需额外的训练。朴素的参数空间平均在建筑对称性下可能很脆弱，因为它们的几何形状没有考虑到它们。在这项工作中，我们表明，不仅几何形状，而且平均过程本身都必须是对称不变的，才能实现对称感知的合并。因此，我们提出了一个通用的解决方案：合并为 Fréchet 平均，即选择最小化适当流形上测地距离总和的参数。从这个角度来看，关键的设计选择是整体几何形状，即度量、流形和距离近似的选择，它决定了两个模型“接近”的含义。我们证明 Fréchet 平均与简化假设相结合包含 Fisher 合并。在此基础上，我们研究了低秩适配器（LoRA）的特殊情况，其对称性产生了独特的几何形状：商流形的几何形状。我们概述了当前 LoRA 合并方法的局限性，为此设置提出了一种实用算法，并展示了它们与其他常用方法的比较。