合成语音中说话人漂移检测的新型自动框架

最近基于扩散的文本转语音 (TTS) 模型实现了很高的自然度和表现力，但经常遭受说话人漂移的困扰，即单个话语中感知到的说话人身份的微妙、逐渐的变化。这种未被充分研究的现象破坏了合成语音的连贯性，尤其是在长篇或交互式环境中。我们引入了第一个用于检测说话人漂移的自动框架，将其制定为针对话语级说话人一致性的二元分类任务。我们的方法计算合成语音重叠片段之间的余弦相似度，并通过结构化表示提示 大语言模型 (LLM) 来评估漂移。我们为基于余弦的漂移检测提供理论保证，并证明说话人嵌入在单位球体上表现出有意义的几何聚类。为了支持评估，我们使用经过人工验证的说话人漂移注释构建了高质量的综合基准。使用多个最先进的 LLM 进行的实验证实了这种嵌入到推理管道的可行性。我们的工作将说话人漂移作为一个独立的研究问题，并将几何信号分析与现代 TTS 中基于 LLM 的感知推理联系起来。