OpenEnded：结合人工标注与音频模型监督的开放式口语评估语料

自动口语评估（ASA）的发展受到公共数据集稀缺的限制，现有的大多数工作依赖于朗读语音，这限制了其在现实世界通信场景中的适用性。在这项工作中，我们引入了 OpenEnded，这是一个来自普通话使用者在开放式回答任务中的英语练习演讲的语料库。与之前仅提供整体熟练程度分数的开放式回答数据集不同，OpenEnded 提供对准确性、流畅性和韵律的言语级别评估。使用混合框架收集和注释大约 10,000 条话语：其中 1,000 条话语通过具有差异解决方案的多评估者评分进行手动标记，以形成高质量的测试集，而其余的则由用于训练和开发集的音频语言模型 (ALM) 进行伪标记。我们在 OpenEnded 测试集上评估 ALM 和现有 ASA 模型，并引入 VoxPA 作为附加基线。结果表明，ALM 生成的伪标签比原始 ALM 评分改进了训练，而 VoxPA 在所有基线中实现了最佳性能。