论文

SAM 3 和 DINOv3 的轻量级 蒸馏,用于边缘部署的个体级牲畜监测和纵向可视化分析

Lightweight Distillation of SAM 3 and DINOv3 for Edge-Deployable Individual-Level Livestock Monitoring and Longitudinal Visual Analytics

摘要

用于个体级牲畜监测的基础模型管道——结合了开放词汇检测、及时视频分割和自监督视觉嵌入——提高了精准牲畜养殖(PLF)的准确性上限,但它们的 GPU 内存预算超出了商品边缘加速器的范围。为了弥补这一差距,SAM 3 的 446M 参数感知编码器 (PE-ViT-L+) 主干通过三种机制被提炼为 40.66M 参数多尺度学生:基于 TinyViT-21M-512 构建的特征金字塔网络学生编码器、四项方向然后尺度 蒸馏 损失以及滑动窗口会话的主干替换推理限制流式 GPU 内存增长的修剪。 DINOv3 系列包括预蒸馏的 ViT-S/16 变体(21.6M 参数),与 6716M 参数 ViT-7B 教师一起发布;采用 ViT-S (21M) 变体作为每个个体的嵌入器。在 Edinburgh Pig 数据集上,压缩管道相对 SAM 3 老师达到了 92.29% MOTA 和 96.15% IDF1(分别损失了 1.68 和 0.84 个百分点),系统级参数减少了 7.77 倍,峰值 VRAM 减少了 3.01 倍(19.52GB -> 6.49GB),达到了 97.34%在九类猪行为分类中,宏观 F1 的 top-1 准确度为 91.67%。该管道安装在 NVIDIA Jetson Orin NX 16GB 封装内,具有 4.9GB 的净空,支持拟议的(但尚未经过实证验证)设备上嵌入池重新识别机制,该机制每年每只动物的每个体足迹约为 94MB,产生纵向视觉记录,可与疾病、跛行、生殖和生长结果标签进行回顾性关联。