用于分析老年人语言能力多语言访谈的说话者角色和语言分类

基于多语言面试的环境中的自动语言能力评估仍未得到充分探索。在这项工作中，我们开发了基于 Whisper 的说话者角色和语言分类系统，以自动提取受访者的语音并描述老年人多语言访谈中的语言使用特征。我们进一步研究二值化衍生的会话和语言使用行为是否可以支持下游语言能力评估。结果表明，针对资源较低且语言相关的印度语言，针对语言的 Whisper 模型可显着提高语言二化性能。统计分析表明，受访者的言语比率和预期语言使用是熟练程度评级的有力预测因素。此外，简单的二值化派生行为特征的性能可与基于 Whisper 的语音嵌入进行熟练程度预测相媲美，同时将两者结合起来可产生最佳结果。重要的是，当使用全自动分类输出时，语音和语言使用统计分析和语言能力预测性能在很大程度上得到保留，这证明了以受访者为中心的对话分析在可扩展语言能力评估中的潜力。