签名引导容量占用的稠密专家合并

稠密专家合并将多个领域专业化的语言模型合并为一个单一检查点，通常通过在权重空间中接纳任务向量的支撑来实现。然而，这一接纳由三个决策支配，而现有方法只能部分回答它们：依据跨专家冲突从哪里开放层容量，依据领域需求由谁占据该容量，以及如何在不依赖昂贵配方搜索的情况下接纳由此产生的支撑。为解决这些问题，我们提出 SigMerge（Signature-Guided Capacity Occupancy），一个用于稠密专家合并的结构化容量分配框架。从稠密基础合并出发，冲突签名依据跨专家冲突设定每层的容量，正的基础合并亏缺设定每个领域在该容量中的份额，顺序占用规则在各专家增量不超过所得层-领域预算的前提下将其接纳。在覆盖七个稠密基础合并和三个模型池的 21 个成对设置中，SigMerge 对其中每一个都有改进（平均提升 15.0%），并在六种合并方法中取得最佳平均排名（1.67），优于三类合并基线。