论文

访问集很重要:可扩展权重空间模型合并的预算专家读物

Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

模型优化模型合并

摘要

权重空间模型合并通常被表述为检查点上的代数运算,但在 LLM 规模下,限制资源通常是必须读取的专家权重集。我们引入了 MergePipe,一个预算感知执行层,它将 LLM 合并视为 \emph{专家访问集} 问题:给定共享权重坐标系中的合并运算符和检查点族,选择在显式 I/O 预算下访问哪些专家增量块。 MergePipe 索引参数块,构建确定性访问计划,并执行与可重播清单的诱导预算合并。该计划在构建上是合理的预算,并以全部预算恢复全读合并;对于固定系数加法算子,遗漏更新误差受遗漏增量范数的限制。在 Qwen 和 Llama 合并工作负载中,MergePipe 将专家读取 I/O 减少了一个数量级,并实现了高达 11 倍的加速。代表性预算扫描显示,与完整读取合并相比,参数偏差为 $O(10^{-3})$,并且下游基准测试没有单调退化。