论文
基于 LLM 的多参考评估，用于高效、稳健地评估断句注释
LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations
摘要
断词注释的可靠评估至关重要，因为韵律边界的细微变化直接影响语音的清晰度和自然度。然而，现有的方法存在很大的局限性：尽管有多个有效的短语，单参考评估仍假设一个话语有一个独特的金标准短语划分，而人类的判断虽然灵活，但却是劳动密集型且不可扩展的。为了解决这些问题，我们提出了基于 LLM 的多参考评估 (LMRE)，用于断句注释，该方法对韵律短语的一对多性质进行建模，并从最小的演示中生成多个有效短语。在涵盖 5 种策略的 1,356 个注释的韩国测试平台上，LMRE 在接受行为和分数相关性方面显示出比单参考评估更强的人类判断一致性。我们的研究结果表明，LMRE 有效地实现了可扩展性和多参考支持，凸显了 LLM 在语音领域评估的潜力。