论文
指令如何塑造言语？风格描述文本转语音的交叉注意力归因
How Do Instructions Shape Speech? Cross-Attention Attribution for Style-Captioned Text-to-Speech
摘要
风格描述文本转语音系统使用自然语言来控制语音特征，但单个单词如何影响声音输出仍不清楚。理解这一点对于诊断故障模式和提高表达 TTS 的可控性至关重要。我们提出了语音扩散模型的交叉注意力归因，首次将 DAAM 框架应用于语音领域，并将其应用于 CapSpeech-TTS。我们的方法跨 25 层和 24 个 ODE 步骤提取每个词元的热图。我们分析了 3,600 个（风格描述、文本转录）组合，其中包括 120 个风格描述，每个组合调节了 30 个文本转录的生成，揭示了标题标记如何塑造波形。结果显示：（1）风格标记比内容/功能标记具有更低的时间方差，证实了全局调节； (2)风格注意力与F0和能量相关； (3) 早期阶段和深层的风格调节峰值； (4)注意力熵在第 17 层达到最小值，与风格重要性峰值同时出现，表明在最关键的风格阶段网络选择性最大。这是第一个关于自然语言如何影响语音扩散模型中交叉注意力的研究