通过机械可解释性从面部和声音进行无标记帕金森病筛查

帕金森病 (PD) 是第二常见的神经退行性疾病。典型的机器学习筛选方法需要 PD 标签，但可用数据受到隐私问题和专家注释需求的限制。我们提出了一种完全基于冻结的预训练编码器（面部表情 Vision Transformer 和 HuBERT）构建的无标签面部加语音 PD 屏幕，其中没有 PD 标签接触任何拟合；参考仅供训练控制。语音模态使用合成构音障碍对比激活附加（CAA）方向，该方向是根据健康语音的时间拉伸和呼吸退化而构建的；人脸模态使用 k 最近邻异常分数来控制嵌入集群。我们引入了对齐原理，事后分析表明，当合成疾病方向和真实疾病方向之间的余弦相似度超过零时，合成降解 CAA 检测器就会起作用。根据 YouTubePD 基准测量，该余弦对于语音（CAA 有效，AUROC 0.765）为 +0.37，对于面部（CAA 失败；异常成功，AUROC 0.751）为 -0.48。等权重晚期融合达到 AUROC 0.802 (95% CI [0.70,0.89])，NPV 0.95，支持排除分类解释。过拟合审核显示语音检测器传输干净，而面部（因此融合）AUROC 可能乐观，等待外部验证。