论文
希腊歌曲的自动歌词转录：耳语适应中的缩放和任务构成效果
Automatic Lyric Transcription for Greek Songs: Scaling and Task Composition Effects in Whisper Adaptation
摘要
由于旋律变化、节奏不规则和伴奏干扰，自动歌词转录 (ALT) 仍然比语音识别更具挑战性。这种情况在希腊语等资源匮乏的语言中尤为突出，因为希腊语之前不存在 ALT 基准。我们提出了第一个针对希腊语 ALT 的耳语适应的对照研究，研究模型缩放效果、通过转录-翻译比率的多任务训练进行任务组合以及两阶段语音到唱歌的适应。我们还使用源分离和 CTC 强制对齐，基于希腊音频数据集 (GAD) 策划了一个分段级对齐的歌唱数据集。结果表明，扩展持续提高性能，而多任务学习主要对于较小容量的模型起到有益的正则化作用。 Whisper Large-v3 中的 2 阶段适应实现了 27.2% 的字错误率 (WER)，比零样本基线有了显着改进，建立了第一个希腊语 ALT 基准。