错误共鸣：对语音生成评估的情感嵌入相似性的严格检查

情感表达的客观指标对于语音生成至关重要，特别是在需要情感韵律迁移的表达合成和语音转换中。为了量化这一点，该领域广泛依赖于参考样本和生成样本之间的情感相似性。这种方法计算来自情感2vec等编码器的嵌入的余弦相似度，假设它们捕获情感线索，尽管语言和说话者存在差异。我们通过受控的对抗性任务和人类对齐测试来挑战这一假设。尽管分类精度很高，但这些潜在空间不适合零样本相似性评估。表征的局限性导致语言和说话者的干扰掩盖了情感特征，从而降低了辨别能力。因此，该指标与人类的感知不一致。这种声音上的脆弱性表明，它奖励声音模仿，而不是真正的情感合成。