论文

SCRIBE:印度语 ASR 的诊断评估和丰富转录模型

SCRIBE: Diagnostic Evaluation and Rich Transcription Models for Indic ASR

模型评测评测方法与指标

摘要

仅当纠正成本低于手动输入时,自动语音识别才会取代打字 - 这是由错误类型确定的阈值,不计算在内:修复错误识别的领域术语的成本远远高于插入逗号。单词错误率(WER)在两个方面失败:它将不同的错误类别折叠成单个标量,并且从结构上惩罚有效连读合并夸大分数的粘着语言。我们引入了 SCRIBE,这是一个诊断框架,通过与领域词汇注入的耐连变对齐,将分类错误分解为词汇、标点符号、数字和领域实体率。人工验证证实 SCRIBE 与专家判断一致,而 WER 则不然。我们发布了 SCRIBE、LLM 管理流程、基准测试以及面向印地语、马拉雅拉姆语和卡纳达语的开放权重丰富转录模型。