透视雾：迈向雾不变动作识别

实际应用中经常会遇到有雾的情况；然而，现有的动作识别方法通常假设有利的天气和高质量的视频输入。在雾天，不可预测的能见度下降和对比度降低阻碍了语义线索的提取，给当前的动作识别方法带来了重大挑战。在本文中，我们通过采用两种策略来缓解雾条件下动作识别所面临的问题。首先，我们介绍 FogAct，这是第一个用于雾状动作识别的基准数据集，由立体摄像系统捕获的成对的干净和雾状视频组成。该数据集涵盖 10 个场景和 55 个动作类别，包括近 10,000 个视频剪辑。其次，我们提出了 FogNet，一种双流 CLIP 模型，可以发现隐藏在降级视频背后的雾不变语义信息。 FogNet 在干净视频的指导下学习有雾视频的鲁棒表示，有效捕获干净视频和有雾视频之间共享的结构和运动线索。对 FogAct 和其他三个流行数据集的大量实验表明，与最先进的 (SOTA) 方法相比，我们的方法实现了具有竞争力的性能。我们的 FogAct 和 FogNet 在我们的项目页面中给出。