论文

WISE:视觉场景、音频、对象、面部、语音和元数据的多模态搜索引擎

WISE: A Multimodal Search Engine for Visual Scenes, Audio, Objects, Faces, Speech, and Metadata

摘要

在本文中,我们介绍了 WISE,这是一个开源视听搜索引擎,它将一系列多模式检索功能集成到一个单一实用的工具中,无需机器学习专业知识的用户即可使用。 WISE 支持跨图像和视频的场景级别(例如空荡荡的街道)和对象级别(例如马)的自然语言和反向图像查询;基于面部的特定个体搜索;使用文本(例如木头吱吱作响)或音频文件对声音事件进行音频检索;搜索自动转录的语音;并通过用户提供的元数据进行过滤。通过组合跨模式的查询可以获得丰富的见解 - 例如,通过应用对象查询“火车”和元数据查询“德国”从历史档案中检索德国火车,或者在某个地方搜索人脸。通过采用矢量搜索技术,WISE 可以扩展以支持对数百万图像或数千小时视频的高效检索。其模块化架构有利于新模型的集成。 WISE 可以本地部署用于私人或敏感集合,并已应用于各种实际用例。我们的代码是开源的,可在 https://gitlab.com/vgg/wise/wise 上获取。