论文
Octopus：用于多模态持续学习的无历史梯度正交化 大语言模型
Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
摘要
多模态 大语言模型 (MLLM) 中的持续学习旨在顺序获取知识，同时减轻灾难性遗忘，但现有方法面临固有的局限性：基于架构的方法会产生额外的计算开销，并且通常很难推广到新任务，基于排练的方法依赖于存储历史数据，引发隐私和存储问题，而仅靠传统的基于正则化的策略不足以完全防止参数干扰。我们提出了 Octopus，一种基于无历史梯度正交化（HiFGO）的两阶段持续学习框架，它在没有历史任务数据的情况下强制执行梯度级正交性。我们提出的两阶段微调策略将任务适应与正则化解耦，实现可塑性和稳定性之间的原则平衡。 UCIT 上的实验表明，Octopus 建立了最先进的性能，在 Avg 和 Last 方面比之前的 SOTA 提高了 2.14% 和 6.82%。