从骨架到语义：公共安全的基于边缘的混合动作检测系统的设计和部署

交通枢纽、城市中心和活动场所等公共场所需要及时、可靠地检测潜在的暴力行为，以支持公共安全。虽然自动视频分析取得了重大进展，但实际部署仍然受到延迟、隐私和资源限制的限制，特别是在边缘计算条件下。本文介绍了基于边缘的混合动作检测系统的设计和基于演示器的部署，该系统将基于骨架的运动分析与用于语义场景解释的视觉语言模型相结合。基于骨架的处理能够以较低的计算开销实现连续的、具有隐私意识的监控，而视觉语言模型则为复杂和以前未见过的情况提供上下文理解和零样本推理能力。该贡献不是提出新的识别模型，而是侧重于在现实边缘约束下对两种范式进行系统级比较。该系统在支持 GPU 的边缘设备上实现，并使用基于演示器的设置对延迟、资源使用和操作权衡进行评估。结果强调了以运动为中心的方法和语义方法的互补优势和局限性，并激发了一种混合架构，该架构可以通过更高级别的语义推理选择性地增强基于快速骨架的检测。所提出的系统为公共安全应用中的隐私意识实时视频分析提供了实用基础。