损失景观的模型合并：几何视角

模型合并为知识集成和并行开发提供了一条有前途的途径，无需重新培训。然而，现有方法要么忽略损失景观的几何形状，要么依赖棘手的全空间 Hessian 近似。我们提出了 EpiMer，一个框架，它将模型合并转换为求解黎曼流形上的 Fréchet 均值，并将计算限制在由任务向量跨越的低秩子空间。以预期的 Hessian 矩阵为度量，我们揭示了局部曲率和参数的认知不确定性之间的联系。我们的理论分析将合并误差分解为子空间 Fréchet 方差和剩余能量，并提供了曲率感知合并何时优于平面几何方法的封闭形式表征。此外，我们的框架将曲率感知方法和最近的谱方法统一为具有不同几何度量的子空间 Fréchet 均值的特例。认知合并在八个图像分类任务上合并微调的 CLIP-ViT 模型，在匹配的秩上严格优于所有三个 CLIP-ViT 主干的基线，提高了每个主干的跨任务平均准确度和最差任务准确度。