ESOM：通过开放世界动态定义有效理解流视频异常

开放世界视频异常检测（OWVAD）旨在检测和解释不同异常定义下的异常事件，这对于智能监控和直播内容审核等应用非常重要。最近基于 MLLM 的方法已经显示出有希望的开放世界泛化能力，但仍然受到三个主要限制：实际部署效率低下、缺乏流处理自适应以及对建模和评估中的动态异常定义的支持有限。为了解决这些问题，本文提出了 ESOM，这是一种以 无需训练 方式运行的高效流式 OWVAD 模型。 ESOM 包括一个定义规范化模块，用于构建用户提示以减少幻觉；一个帧间匹配的帧内标记合并模块，用于压缩冗余视觉标记；一个混合流内存模块，用于高效因果推理；以及一个概率评分模块，用于将间隔级文本输出转换为帧级异常分数。此外，本文还介绍了 OpenDef-Bench，这是一种新的基准测试，具有干净的监控视频和多种自然异常定义，用于评估不同条件下的性能。大量实验表明，ESOM 在单个 GPU 上实现了实时效率，并在异常时间定位、分类和描述生成方面实现了最先进的性能。代码和基准测试将在 https://github.com/Kamino666/ESOM_OpenDef-Bench 发布。