论文
GSR-Bench:从逐字转写扩展到有语音依据的生成式识别评测
From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition
摘要
语音语言模型已把自动语音识别(ASR)从逐字转写扩展到一般语音到文本生成。然而,现有基准仍假设每段语音只有一个真值转写;当模型输出可读、格式化或结构化文本时,这一假设便不再适用。我们提出具有语音依据的生成式语音识别(GSR),将识别重新定义为生成受输入语义支持的文本,而非匹配唯一转写。我们定义有依据的改写空间,刻画输入语音支持的全部有效文本表达,并建立四级改写能力层次:字面转写、规范改写、语义改写和基于语音的结构化。在此基础上,我们推出GSR-Bench,系统评估超越精确转写匹配的生成式识别。基准包含会议转写整理、跨方言翻译、上下文感知语音理解,以及静音和噪声条件下的鲁棒性。为克服词级指标限制,我们结合语音依据评估与LLM语义评判构建多维评价框架,通过人类偏好研究验证可靠性。对传统ASR至端到端Speech-LLM等架构的实验揭示了转写忠实度与生成改写能力的基本取舍,并发现声学幻觉、无依据生成和指令漂移等失效模式,为未来有语音依据的生成系统提供设计与评测参考。
