论文
评估和保留英汉语音翻译中的词汇重音
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
摘要
语音到语音翻译(S2ST)系统在语义准确性和语音自然度方面取得了令人瞩目的进步。然而,词汇重音的跨语言转移是强调重点和说话者意图的重要线索,但仍然没有得到充分的探索,而且由于缺乏针对汉语等声调语言的可靠的自动评估指标,这一问题变得更加严重。我们通过构建带重音注释的中文数据集和基于 XLS-R 的普通话重音检测器来研究英语到中文的 S2ST 重音传递。将此与英语 EmphAssess 系统相结合,我们提出了一种用于跨语言压力评估的新颖的客观指标。此外,我们对 CosyVoice3 进行了微调,以构建压力感知 S2ST 系统。实验表明,我们提出的 S2ST 架构在压力翻译能力方面显着优于现有系统,同时保持有竞争力的翻译质量。此外,我们的评估指标与人类主观判断表现出很强的相关性。