SiGMA：面向多模态持续指令微调的符号引导合并与适配

摘要

多模态持续指令微调（MCIT）对把多模态大语言模型（MLLM）适配到不断演化的下游任务序列至关重要。既往方法多采用专家混合或扩展合并，主要关注灾难性遗忘，但在推理时仍受负向干扰之苦：新学的更新覆盖有用的既有知识、损害整体表现。为此我们提出SiGMA（符号引导合并与适配），一个简单有效的框架，以两个组件缓解负向干扰：训练时的符号引导自适应调优——减少与既有知识的碰撞、以最小漂移学习当前任务，缓解严重遗忘；推理时的符号引导合并——选择性缩放显著参数以保存并放大有用的任务专属知识，进一步改善整合。在UCIT与DCL基准上的实验显示：SiGMA显著降低负向干扰，胜过最先进的MCIT方法。代码已发布。

SiGMA：面向多模态持续指令微调的符号引导合并与适配：论文配图 — 图 1：UCIT 基准的整体性能比较。我们报告了持续指令调整过程的整体指标，计算为训练每个任务后所有先前看到的任务的平均准确度。虽然现有的 MoE 和扩展合并方法由于负面干扰和严重遗忘而逐渐遭受性能下降，但明确解决负面干扰的 SiGMA 始终保持较高的整体性能。