XMerge：LLM 深度压缩的交叉轴选择和重构层合并

删除完整的 Transformer 层可以保留标准的服务架构，但现有的深度压缩方法可能会损失大量质量，并且损失在不同模型之间会发生不可预测的变化。我们引入 XMerge，这是一种具有两个组件的 后训练 方法。交叉轴选择识别具有低相对幅度和角度隐藏状态变化的块，并且局部边界重建重新拟合相邻的幸存块以匹配原始的两个块输出。 XMerge 不使用任务标签或端到端 微调，它既不引入架构更改，也不引入额外的推理时间参数。在七个 Llama 和 Qwen 主干网 (0.5B-8B)、五个已发布的基线和三个层减少级别中，它相对于基线的优势在最积极的删除中是最大的：在 k=4 时，它在 CORE（22 任务聚合）上的七个主干网中的六个上排名第一，并且分别在 MMLU 上的七个主干网中的六个上排名第一（同时在两个主干网中的七个主干网中排名第一），同时避免了几个竞争操作员的困惑度大幅增加。在任务级引导程序中，三个最大 CORE 裕度的 95% 置信区间排除零；其余边距与平局一致。在 14 个（模型、体系）单元中，它也是唯一一个永不崩溃的评估算子，在零样本和上下文体系中均排名前 2；在第一个校准探针（一个主干）上，它是最佳校准操作员。消融表明局部重建提供了大部分增益，而当两个选择轴不一致时，交叉轴融合会有所帮助。在大约数万个请求之后，通过每个词元解码节省来收回额外的构建成本。