论文

ATRIE:角色驱动的语音合成中鲁棒推理和情感的自适应调整

ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis

应用与实践内容创作

摘要

高保真角色语音合成是沉浸式多媒体应用的基石,特别是与动漫头像和数字人类的交互。然而,现有系统很难在不同的情感背景下保持一致的角色特征。为了弥补这一差距,我们提出了 ATRIE,这是一个利用 Persona-Prosody Dual-Track (P2-DT) 架构的统一框架。我们的系统将生成分解为静态音色轨道(通过标量量化)和动态韵律轨道(通过分层流程匹配),从 14B LLM 教师中提炼出来。这种设计可实现强大的身份保存(零射击说话人验证 EER:0.04)和丰富的情感表达。在我们的扩展 AnimeTTS-Bench(50 个字符)上进行评估,ATRIE 在生成和跨模式检索方面实现了最先进的性能(mAP:0.75),为角色驱动的多媒体内容创建建立了新的范例。