论文
CN-NewsTTS Bench:原始输入中文新闻 TTS 发音的目标级自动基准
CN-NewsTTS Bench: a target-level automatic benchmark for raw-input Chinese news TTS pronunciation
摘要
中文新闻文本包含密集的书面形式,例如分数、连字符型号名称、范围、单位符号、百分比、英文缩写以及混合的中文和拉丁数字名称。这些形式在实际听力工作流程中很常见,文本转语音 (TTS) 系统可以保留书面字符串,同时更改口头含义。我们推出 CN-NewsTTS Bench v0.1,这是一个开放的目标级基准,用于评估中文新闻 TTS 产品是否从原始文本正确发音此类目标,无需用户侧规则、LLM 重写、SSML 提示或手动编辑。该版本包含 200 条记录的开发集、800 条记录的公共测试集、992 个公共自动评估目标、三 ASR 集成的固定转录本、自动目标评分器以及七个产品 TTS 系统的初步结果。我们还报告 ASR 路由诊断、ASR 子集消融、类别级结果、置信区间和提供商配置元数据。最好的系统达到了 0.879 严格精度,而一些系统仍低于 0.60。