INSPIRE：指令感知语音检索的基准

现有的语音检索系统依赖于固定的相似度匹配，无法适应不同的用户意图。我们推出了 INSPIRE，这是指令感知语音检索的第一个基准，其中自然语言指令动态指定相关性标准，包括语义内容、说话者身份、说话风格、环境声音及其组合。我们评估了四种检索范式：大型音频语言模型、级联管道、自监督语音模型和对比音频语言模型。我们的结果表明，当前没有方法可以稳健地处理所有检索意图。基于文本的方法在语义检索方面表现相对较好，但在副语言属性方面表现不佳，而基于语音的模型在捕获声学特性方面稍好，但在遵循指令方面表现不佳。这些发现强调了对能够进行指令感知语音检索的统一架构的需求。