预测并修复大语言模型的合并坍缩

从共享基座微调的大语言模型可通过平均任务向量合并，但有些合并坍缩到远低于基座，且常见合并算子在评估前不给出警告。我们证明专家任务向量的一个统计量既预测这种坍缩又校准其修复：平均所移除的功率等于跨专家任务向量的方差——我们的干扰度量。在所采用的噪声模型下，合并注入的扰动随合并系数与干扰增长，产生合并前分数。在四模型族22种合并配置的实验中，只有破坏性合并超过该分数阈值；我们发现专家间符号冲突统计——既有合并算子的常见目标——是反预测的。我们随后在评估前预测14次合并的结果，12次预测正确，包括被继续预训练推过阈值的专家对的破坏性结果。为解决坍缩，我们提出PRISM算子：先平均任务向量，再按该层干扰设定的水平对每层软阈值。无需数据或调参，对合并前分数超过阈值的全部五个破坏性合并，PRISM将结果保持在基座模型的评估噪声范围内；普通平均则至少低于基座14.4分或完全坍缩。只在阈值以上应用PRISM，其下的合并（含全部十五个无害者）保留普通平均。代码/项目页：https://github.com/js-lee-AI/PRISM。