αTransfer：跨模型规模迁移合并系数

模型合并提供了一种很有前景的解决方案，可以通过参数算法将多个经过微调的检查点合并为单个模型。然而，寻找最佳合并系数需要进行广泛的搜索，由于记忆的高要求和搜索空间中的组合增长，随着模型大小和数量的扩展，搜索的成本变得异常昂贵。我们表明，在同一模型系列中，模型在不同模型大小的合并系数上表现出高度一致的性能分布。这种分布相似性实现了我们称为 \textit{$α$Transfer} 的实用范例：在小型代理模型上搜索最佳系数，然后将它们直接转移到更大的目标模型。我们跨多种合并方法、模型系列和任务验证 $α$Transfer。实验结果表明，视觉 Transformer 的速度提高了 6$\times$，记忆降低了 70%，大语言模型的速度提高了 20$\times$，记忆降低了 85%，同时保持了相当的性能。我们的研究结果表明 $α$Transfer 是一种有效且可推广的扩展模型合并方法。