论文
主动应对不确定性:口语对话系统的原因感知错误诊断和交互式澄清
Proactive for Uncertainty: Cause-Aware Error Diagnosis and Interactive Clarification for Spoken Dialogue Systems
摘要
级联自动语音识别 - 大语言模型 (ASR-LLM) 管道在工业口语对话系统 (SDS) 中仍然很受欢迎,主要是因为它们的解耦设计确保了感知可验证性。然而,级联系统会遭受错误传播,因为转录失败不可避免地会级联到后续组件,从而降低最终的交互质量。尽管 ASR 置信度分数为不可靠的输入提供了简单的过滤器,但这种方法从根本上受到限制,因为它通常无法检测删除错误或区分声学(无法听清楚)和语言(无法理解)不匹配,这两者都需要有针对性的恢复策略。在本文中,我们提出了一种原因感知错误恢复范例,从根本上重新思考 SDS 的稳健性。与传统的置信过滤不同,我们引入了一套小型精确聚焦检测器,它们利用深层 ASR 潜在表示将 词元级 错误分解为感知、理解和删除失败。这种细粒度的诊断智能使 LLM 能够协调有针对性的多轮澄清策略,有效地将模糊的信号转化为无缝的用户交互。实验结果验证了我们方法的精度,与基线相比,域转移错误的召回率提高了一倍多(57.96% vs. 23.66%)。至关重要的是,这种诊断精度可将 WER 降低高达 31%,并将跨不同口音、扭曲和领域的下游任务提高 19%。