构音障碍严重程度评估的跨语言检索增强分类

自动构音障碍严重程度评估因缺乏标记的病理语音数据而受到限制。为了解决这个问题，我们提出了跨语言检索增强分类（CRAC），它通过对齐-检索-熔断管道利用不同语言的语音。监督对比学习首先形成一个以严重性为中心的嵌入空间，然后根据相反语言的语料库构建向量数据库。在训练和推理过程中，分类器从对齐的空间中检索前 k 个参考，并通过交叉注意力将它们与输入融合。根据与说话人无关的三类协议对韩国语中风后和意大利 ALS 构音障碍数据集进行评估，CRAC 在韩语和意大利语上的平衡准确度达到 87.3% 和 86.7%，分别比单语基线提高了 8.4 和 20.0 个百分点。