论文
RoMod:通过混合专家进行时间路由调制以进行视频异常检测
RoMod: Temporal Routing Modulation via Mixture-of-Experts for Video Anomaly Detection
摘要
多模态大语言模型的中间层特征显示出视频异常检测 (VAD) 的强大潜力,但其判别能力的来源仍不清楚。我们使用稀疏专家混合(MoE)模型来研究这个问题,其显式专家结构和稀疏激活使其内部计算更易于检查。通过完全冻结的骨干模型并且没有额外的训练,我们发现与异常相关的证据集中在一小部分专家中。这些专家跨层重复出现,自发地专门研究不同的异常类型,并共同形成动态路由子网络。我们进一步表明,受这些专家影响最大的输出通道也是包含最异常相关信息的隐藏维度。因此,路由统计可以作为补充语义特征的内部异常线索。基于这些发现,我们提出了 RoMod,一种仅用 \(5\%\) 弱标记视频进行训练的高效 VAD 框架。 RoMod 包括路由调制融合模块 RoMF 和路由感知临时网络 RoTN。 RoMF 使用路由信号来自适应地重新校准隐藏语义通道。它的设计还可以防止路由分支绕过语义特征并自行进行预测。 RoTN 捕获异常从开始到持续和终止的时间演变。三个基准测试的实验表明,RoMod 实现了最先进的性能,同时运行速度比同等尺寸的密集骨干模型快得多。
