任务级模型合并坍塌的实证研究与理论解释

模型合并将基于同一底座独立微调的多个LLM统一起来，无需重新训练即可复用与整合并行开发的成果。然而，我们在实践中观察到，合并并不总是成功：某些任务专家模型的组合在合并后遭遇灾难性的性能退化。我们将这种失败模式称为合并坍塌（merging collapse）。直觉上，当不同任务习得的表示或参数调整在根本上不兼容时，坍塌便会发生，此时合并造成的是破坏性干扰而非协同增益。本文识别并刻画了任务级合并坍塌现象：某些任务组合在所有合并方法下都会一致地触发巨大的性能退化。通过大量实验与统计分析，我们证明任务间的表示不兼容与合并坍塌强相关，而参数空间冲突指标仅表现出极小的相关性，这挑战了模型合并文献中的传统观点。我们通过带有维度依赖界（dimension-dependent bound）的率失真理论（rate-distortion theory）为该现象提供了理论解释，确立了无论采用何种方法都成立的任务可合并性基本极限。