通过弹性正则化和综合重放进行联邦 MLLM 微调的持续学习

摘要

跨分布式网络的多模态大语言模型 (MLLM) 的联合微调能够对不断变化的数据流进行隐私敏感的适应，但阻碍动态环境中稳健部署的一个根本障碍是：灾难性遗忘，其中顺序任务更新会删除先前在视觉、语言和跨模态表示中获得的知识。应对这一挑战对于在安全敏感领域（例如内容审核）中运行的自主网络人工智能尤其重要，在这些领域中，可靠地保留先验知识是系统完整性的基础。为了克服这个问题，我们提出了联邦持续多模态学习（FedCMM），该框架将持续学习保障措施嵌入到三个互补级别的联邦优化循环中。在参数级别，模态感知弹性权重合并为视觉编码器、语言骨干和跨模态投影仪计算单独的费舍尔信息矩阵，提供细粒度的、不对称感知的保护，防止模态特定的遗忘。在数据级别，每个客户端训练一个轻量级本地生成重放模块来合成无原始数据的嵌入级多模式重放元组，而无需任何原始数据共享。在聚合层面，任务相似性感知梯度聚合通过梯度余弦相似度自动过滤和重新加权客户端更新，抑制冲突方向并稳定全局学习轨迹。对两个基准的广泛实验表明，FedCMM 在准确性和向后传输方面始终优于最新的基线，证实了整体的模态感知优化能够在异构网络人工智能部署中实现稳健的进化适应。