用于 MLLM 适应的曲率引导混合

微调 执行专门任务的多模式 大语言模型 (MLLM) 通常会导致灾难性地忘记其一般功能。现有的模型合并方法来解决这个问题通常是启发式的或使用次优目标。我们提出了 CurvatureGuided Mixing (CGM)，这是一个融合了预训练和微调模型的理论框架。 CGM 制定联合优化目标，并使用损失景观的二阶（Hessian）近似来分析导出最佳的封闭式“软混合”比率。该比率根据参数的相对特定任务曲率智能地混合参数。我们还引入了 CGM$\dagger$，这是一种强大的“硬混合”变体，它在新颖的曲率感知分数的指导下执行稀疏参数选择。在 LLaVA-1.5 和 Qwen2.5VL 上跨多个下游任务的实验表明，与现有方法相比，CGM 和 CGM$\dagger$ 持续改善了任务专业化和一般知识保留之间的权衡。代码可在 github.com/zzsyjl/CGM-ECCV-2026 获取。