FeatCal：合并后模型的特征校准

模型合并将任务专家合并为一个模型，避免联合训练、再训练或部署许多专家模型，但合并后的模型通常仍然不如任务专家。我们通过特征漂移来研究这种性能差距，特征漂移是合并模型和专家在相同输入上产生的特征之间的差异。我们的理论将这种漂移分解为上游传播和局部失配，跟踪它如何传播并按前向顺序组合到后面的层，并将最终特征漂移与输出漂移联系起来。这种观点激发了 FeatCal，它使用一个小的校准集按前向顺序逐层校准合并的模型权重，减少特征漂移，同时保持接近合并的权重并保留模型合并的好处。 FeatCal 使用高效的封闭式解决方案来更新模型权重，无需梯度下降、迭代优化或额外模块。在主要的 CLIP 和 GLUE 基准测试中，FeatCal 击败了最接近的合并后校准基线外科手术和 ProbSurgery：在 CLIP-ViT-B/32 任务算术 (TA) 上为 85.5% vs. 77.0%/78.8%，在基于 FLAN-T5 的 GLUE 上为 85.2% vs. 83.7%/82.2%。在 CLIP-ViT-B/32 上，每个任务 8 个样本达到 82.9%，每个任务 256 个样本耗时 53 秒，比两个基线快约 4 倍，显示出更好的样本效率和更低的校准成本。