预测参数高效 微调 更新的可合并性

低秩适应（LoRA）使得训练许多特定于领域和任务的语言模型适配器变得很便宜，但是两个适配器是否可以合并通常只有在两个适配器都经过充分训练和评估后才能发现。这种迟到的反馈代价高昂：隔离能力强的适配器一旦更新组合起来就会产生破坏性干扰。我们询问这个结果是否可以预见。我们将适配器可合并性形式化为适配器在合并后保留其单任务效用的程度，并表明它可以根据训练的前几个百分比测量的信号进行预测——主要是低秩更新及其梯度如何跨任务对齐以及它们对共享表示的干扰程度。我们将这些信号打包到 MergeProbe 中，这是一个轻量级预测器，可以估计成对和集合级别的保留，并将估计转化为具体的决策：直接合并、重新加权、修剪或路由。在 MERGE-PEFT（涵盖数学、代码、科学、指令遵循和安全性的五域基准）上，MergeProbe 在强干扰感知合并基线中实现了最佳平均和最坏情况保留，同时比完整任务路由增加的部署开销要少得多。这将 LoRA 合并从事后工程步骤转变为预期测量问题。