MergeHEIR：减少模型合并后的幻觉并保留专家能力

模型合并将任务专业专家整合到一个可部署的模型中。然而，我们表明，这种能力整合会带来幻觉增加的合并税：在 8 种模型合并方法中，每个合并检查点的幻觉率都高于其组成专家的平均水平。一种直观的方法是使现有的幻觉缓解方法适应合并后模型，但这种不受约束的适应破坏了继承的能力，在幻觉缓解和专业知识保留之间造成了紧张。为了应对这一挑战，我们引入了 MergeHEIR，这是一个合并后适应框架，旨在减少合并税，同时保留从初始专家继承的专业知识。使用小型专家任务校准集，MergeHEIR 通过 SVD 根据从合并检查点收集的特定于任务的激活构建分层零空间投影仪，并定期将累积的合并后位移投影到生成的零空间上，以保留继承的专业知识。理论上，我们建立最小失真和最大维度保证，表征阈值控制的适应-保留权衡，并将扰动保证扩展到有限校准数据之外。在跨越 3 种 MLLM 配置和 8 种模型合并方法的 24 项配对比较中，MergeHEIR 始终如一地减轻了幻觉，同时在很大程度上保留了继承的专业知识，展示了更有利的幻觉保留权衡。