论文

FedVAR:用于视频异常识别的原型对齐联合框架

FedVAR: Prototype-Aligned Federated Framework for Video Anomaly Recognition

模型训练监督微调与指令调优

摘要

在工业物联网 (IIoT) 和网络物理系统 (CPS) 时代,联邦学习 (FL) 为视频异常识别 (VAR) 提供了一种有前景的去中心化智能范式。这项任务对于维护高保真数字孪生和确保关键任务环境中的安全至关重要。然而,分布式边缘客户端之间固有的数据异构性导致了一个称为语义错位的基本挑战,即客户端学习“正常”和“异常”事件的不同特征表示。这个问题在 VAR 中变得尤为明显,其中多样化且细粒度的异常类别的存在导致每个客户对异常情况形成不同的语义解释。现有的联合方法主要关注二进制异常检测,无法解决这种不一致问题,从而阻碍了有效的细粒度识别。在本文中,我们介绍了 FedVAR,这是一种专门为 VAR 设计的弱监督 FL 框架。利用视觉语言模型 (VLM) 的丰富表示,FedVAR 采用基于原型的对齐机制,为所有客户端创建共享语义锚,以重新居中并对齐其视觉和文本特征空间。这个过程在去中心化网络中强制执行“正常性”的一致表示,直接减轻语义错位,并以最小的通信开销实现异常方向向量的鲁棒提示学习。我们在各种非独立同分布数据分区方案、未见过的域和新颖的异常类下对具有挑战性的基准进行了广泛的实验。结果表明,FedVAR 始终优于最先进的联合基线,为基于视频的 CPS 中的分布式智能建立了强大的框架。