CL-Anomaly：具有多模态 大语言模型 的层自适应专家混合，用于异常检测中的持续学习

多模态 大语言模型 (MLLM) 在各种视觉任务中表现出色，但随着现实世界知识的发展，全参数再训练的计算成本很高。现有的持续学习方法经常遭受跨任务参数空间中的语义纠缠，阻碍了模型的持续部署。这一挑战在异常检测（AD）中尤为明显，它在模式、领域和缺陷规模变异性方面表现出三重异质性，使多任务知识转移变得非常复杂。在本文中，我们提出了 CL-Anomaly，这是一种基于隔离共享协作的参数高效 微调 框架，可以通过 MLLM 持续学习异常检测。我们引入了任务私有专家 PrivLoRA，它在参数空间中物理隔离任务特定子空间，以防止不同场景下异常知识的语义纠缠。层自适应共享专家在统一的特征空间内维护跨任务表示，从而实现先前任务和新任务之间的知识共享。此外，我们提出了一种层自适应知识转移策略，通过基于动量的机制自动选择并动态更新每个任务的分层关键共享专家，促进相关异常检测任务之间的有效知识转移。针对异常检测的三种持续学习场景（包括类增量、跨域和跨模式）的广泛实验表明，CL-Anomaly 的性能优于最先进的方法。代码可在 https://github.com/WenDongyp/CL-Anomaly 获取。