论文
存储更少，发现更多：新颖性过滤如何改进边缘相机的跨模式检索
Storing Less, Finding More: How Novelty Filtering Improves Cross-Modal Retrieval on Edge Cameras
摘要
始终在线的边缘摄像头会生成连续的视频流，其中冗余帧将正确结果从 top-k 搜索中挤出，从而降低了跨模式检索的性能。本文提出了一种流式检索架构：设备上的 epsilon-net 过滤器仅保留语义上新颖的帧，构建去噪嵌入索引；跨模式适配器和云重新排序器补偿了紧凑型编码器的弱对齐。在两个以自我为中心的数据集（AEA、EPIC-KITCHENS）上的八种视觉语言模型（8M-632M）中，单通道流式过滤器的性能优于离线替代方案（k 均值、最远点、均匀、随机）。结合起来，该架构使用 8M 设备上编码器以估计 2.7 mW 的功率在保留数据上达到 45.6% Hit@5。