Scout：边缘的开放世界物种识别

大型视觉语言模型 (VLM) 可以实现超出固定类别集的识别，但其计算需求阻止它们在许多边缘设备上运行。云卸载使此功能变得可用，但发送每个图像会消耗稀缺的带宽和通信能量。我们询问如何将 VLM 的开放世界识别能力发挥到边缘，同时在计算、能源和带宽预算紧张的情况下运行。野生动物监测为探索这个问题提供了一个自然的环境，因为相机陷阱在部署时会遇到未知的物种。我们推出了 Scout，这是一个自主的开放世界识别系统，它间歇性地调用云 VLM，以紧凑的边缘模型教授新课程。仅给定部署位置和空站点框架，Scout 即可自主将 VLM 识别的每个物种转化为资源高效边缘模型中持久的、站点条件识别功能，无需预定义物种列表、人工标记或手动调整。在 NVIDIA Jetson Orin Nano 上的三个区域部署了 30 个相机陷阱后，Scout 的准确度在给定预定义物种列表的模型中保持在 0.1-2.5% 范围内。对于初始类别集之外的物种，Scout 实现了 53.7-59.1% 的准确率，而完全云卸载的准确率为 56.5-65.1%，同时使用的部署能源减少了 59-71%。