WildFin：用于鱼类行为识别的野外数据集

现场技术的最新进展导致生态科学领域的野外视频数据大量涌入。利用这些数据的主要瓶颈是专家注释的高昂成本。虽然计算机视觉提供了一种潜在的解决方案，但当前的模型在复杂的海洋环境中部署时经常会失败。为了描述这些失败的特征，我们引入了 WildFin，这是一种由生态学家收集和注释的鱼类行为识别的新基准。 WildFin 跨越了两个关键的现实世界范例：监控鱼群的固定摄像机和跟踪单个对象的动态潜水员。该数据集代表了巨大的管理工作，涉及 1,350 小时的实地工作和 600 小时的专家注释，以生成 9 小时的行为数据，其中包含超过 200 万个逐帧标签。我们对现代视觉基础模型进行基准测试，并量化静态和时空架构之间的权衡，揭示当前模型功能与现实世界水下行为分析的需求之间仍然存在的巨大差距。项目网站：https://team-wildfin.github.io/。