AMRD：用于轻量级语音情感识别的自适应多教师关系 蒸馏

设备上语音情感识别 (SER) 对于实时应用至关重要，但擅长 SER 的大型自监督模型对于边缘设备来说成本太高。多教师 知识蒸馏 可以将它们压缩为轻量级学生，但仍然存在两个挑战：教师可靠性因批次而异，并且 logits 级别的 蒸馏 忽略样本间关系结构。我们提出自适应多教师关系 蒸馏 (AMRD) 来解决这两个问题。每个教师的 logits 相似性矩阵上的一类 SVM 会分配每批次的权重，以支持更连贯的教师。关系 蒸馏 损失对齐教师和学生相似度矩阵，捕获 logits 匹配遗漏的结构。在跨四个学生架构的 IEMOCAP 和 CREMA-D 数据集上，AMRD 在大多数设置中优于单教师 蒸馏 基线，并且消融证实这两个组件产生互补增益。