论文
DUPAR:通过具有交叉转弯证据缓存的语音检索器进行双路径对话检索
DUPAR: Dual-Path Conversational Retrieval via Speech Retriever with Cross-Turn Evidence Caching
摘要
基于外部知识的语音助手通常使用自动语音识别 (ASR) 来转录语音查询,然后再从文本知识库检索证据。这种级联增加了延迟并传播识别错误,而直接语音检索很容易受到跨模式错位的影响。为了解决这些限制,我们提出了 DUPAR,一种具有互补的慢速和快速路径的会话检索框架。快速路径使用与冻结的 BGE-M3 文本嵌入对齐的任务自适应音频编码器来搜索交叉转弯证据缓存。当缓存置信度不足时,慢路径使用音频和 ASR 转录嵌入融合全索引检索,所选证据通过一跳图扩展刷新下一回合证据缓存。在特定领域的知识库上,我们训练有素的音频编码器在干净的语音上达到了文本检索的准确性,查询端速度比 ASR + 文本编码器提高了 3.75$\times$。它将噪声基准上的平均 Recall@10 从 0.771 提高到 0.875,并将合成说话风格的整体 Recall@1 提高了 4.2 个百分点。与全索引音频检索相比,当前一回合检索到正确的证据并且后续目标是一跳相邻块时,跨回合证据缓存显着减少了检索错误。