论文

InduceKV:经诱导KV记忆的多模态LLM固定占用持续适配

InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

模型训练持续学习

摘要

多模态大语言模型必须适应不断演化的任务与领域,但在有界部署占用下的持续改进仍然困难——因为重复的参数更新或不断增长的回放存储会随时间累积适配状态。我们研究固定占用持续适配:部署的适配状态保持在固定内存预算内——骨干模型保持不变、任务特定更新被外置化。我们提出InduceKV——一种基于检索的方法:将每个选中的训练前缀存储为注意力就绪的记忆条目——由冻结的检索键与可附加到模型自注意力缓存的紧凑层级键值(KV)载荷组成。在严格内存预算下,InduceKV经双层选择构建紧凑诱导集:拟合轻量校准用于检索——同时选中的记忆在冻结检索空间中平衡当前任务似然、基于锚点的保持与覆盖率。跨任务增量指令微调、持续VQA、领域增量适配与终身多模态指令微调:InduceKV在匹配内存预算下持续超越PEFT、MoE、回放与提示检索基线。我们进一步报告骨干匹配、第一阶段CoIN、计算匹配与可扩展性诊断——表明增益并非来自更强骨干、单纯回放或无界候选池。

InduceKV:经诱导KV记忆的多模态LLM固定占用持续适配:论文配图
图 1:用于预算持续 MLLM 适应的 InduceKV。