CoMerge：面向多任务模型合并的冲突驱动偏好优化

模型合并为构建多任务大语言模型（LLM）提供了一种有效的范例，无需进行完整的模型再训练，但它仍然面临参数干扰的挑战。虽然现有方法旨在保留单个专家模型的能力并减轻干扰，但它们通常不会直接从幼稚合并所暴露的潜在退化行为中学习。在本文中，我们提出了一种用于模型合并的冲突驱动偏好优化框架（CoMerge），它将模型合并重新表述为偏好优化问题。该方法利用自我监督、冲突驱动的策略，利用朴素合并方法（例如任务算术）的缺陷作为硬负样本来构建偏好对，而无需外部注释。通过应用偏好优化来细化轻量级、张量方式的合并系数，CoMerge 使模型能够减轻参数空间冲突，同时保留特定于任务的功能。大量实验表明，CoMerge 在 MergeBench 上实现了 0.9968 的平均归一化性能，优于所有评估的无数据和数据驱动模型合并基线。此外，在 Llama-3.1-8B-Instruct 上，CoMerge 在指令遵循和安全性等冲突敏感任务上取得了显着改进，尽管仅优化了 1,445 个标量系数，但在全参数微调方面仍保持高度竞争力。