VCR-Bench：视频基础模型的鲁棒性评测框架

图像分类的鲁棒性有几个基准，但缺乏视频对应的基准。在视频分类中，时间维度为对抗性攻击、防御和预处理引入了额外的自由度。时间采样、扰动预算和度量聚合也以在图像设置中没有直接类似的方式相互作用。因此，视频分类器的鲁棒性是在分散的、不兼容的实现中研究的，使得报告的数字难以重现和分析。我们推出 VCR-Bench，这是一个模块化开源基准测试框架，可标准化视频加载、分类器包装器、对抗性攻击和防御、感知指标、配置预设和结果记录。 VCR-Bench 目前在通用评估协议下集成了 30 个视频分类模型、14 个对抗攻击和 10 个防御包装器。我们评估 Kinetics-400 子集上的代表性视频分类器、攻击和防御，报告准确率、攻击成功率、感知质量、运行时间和内存使用情况。 VCR 工作台是 随记录的安装、可重现的运行预设、组件扩展接口以及用于在 https://github.com/msu-video-group/vcr-bench。 重现报告结果的脚本一起发布