论文

放大,推理:通过贝叶斯推理引导的聚焦 VLM 推理,在高速公路监控视频中进行高效的远场异常检测

Zoom In, Reason Out: Efficient Far-field Anomaly Detection in Expressway Surveillance Videos via Focused VLM Reasoning Guided by Bayesian Inference

应用与实践行业应用

摘要

高速公路视频异常检测对于交通安全很重要,但在不同场景中仍然具有挑战性,特别是对于具有细微异常运动的远场车辆。视觉语言模型 (VLM) 提供强大的语义推理能力,但处理全帧可能会稀释来自远处目标的证据并引入大量的计算开销。为了应对这些挑战,我们提出了 VIBES,这是一个异步框架,它使用贝叶斯推理来指导重点 VLM 推理。具体来说,在线运动学引导的贝叶斯推理模块不断地根据车辆轨迹估计上下文相关的法向运动分布,并更新其概率边界。偏离这些边界会产生异步触发器,在时间和空间上定位候选异常。 VLM 不处理连续的全帧视频,而是仅对选定的帧和与触发器相关的局部视觉区域进行推理,从而减少不相关的视觉内容和不必要的推理。大量实验表明,VIBES 改进了远场异常检测和语义解释,同时在不同的高速公路条件下实现了实时处理效率。