论文
用于 ASR 纠错的错误感知 TF-IDF 检索增强生成
Error-Aware TF-IDF Retrieval-Augmented Generation for ASR Error Correction
摘要
端到端自动语音识别系统经常会产生稀有实体和特定领域术语的幻觉,尤其是在资源匮乏的语言中。虽然检索增强生成框架可以使用 大语言模型 减轻这些错误,但当前的架构面临着重大挑战。它们要么依赖于忽略语音错误识别的标准稀疏检索,要么利用引入高延迟的重量级跨模态嵌入。这封信提出了一个高效、纯粹的词汇错误感知框架,旨在明确解决语音和循环幻觉。我们的方法将对称文本归一化模块与新颖的错误感知术语频率-逆文档频率算法相集成。通过根据历史错误构建稀疏对角惩罚矩阵,检索器 在数学上对包含特定高风险误识别的纠正文档进行优先级排序。对 FLEURS 数据集的波斯语子集进行评估,我们的方法将错误感知命中率从 53.7% 提高到 90.9%。在端到端评估中,集成框架将最终单词错误率从 23.06% 降低至 18.83%,以接近零的推理延迟实现了显着的准确率提升。