使用 ASR-LLM 级联分析韩语口语 QA 中的错误传播

我们分析了自动语音识别 (ASR) 错误如何通过韩语口语问答 (SQA) 中的 ASR-LLM 级联传播，重点关注传统 ASR 指标无法完全捕获的下游语义故障。我们的分析表明，由 ASR 错误引起的相对下游退化在具有不同绝对性能的 LLM 中是一致的，这表明级联退化很大程度上跟踪了 ASR 阶段信息丢失。我们进一步确定单字符 ASR 错误是韩语信息丢失的一个特别突出的来源，即使是最小的转录差异也可能改变预期的问题并降低下游 QA 性能。最后，辅助比较表明，在嘈杂的韩语 SQA 中，大型音频语言模型优于具有近似匹配语言主干的 ASR--LLM 级联，这表明直接音频输入有可能减轻转录引起的信息丢失。