论文
探针转移并不是公平修复:语音模型中表示转向的局限性
A Probe Shift Is Not a Fairness Fix: The Limits of Representation Steering in Speech Models
摘要
自动语音识别(ASR)系统在不同的说话者群体中表现出不同的错误率,从而激发了对其内部表征的干预。我们询问可从预训练的 ASR 编码器线性读取的与说话人相关的属性是否可以为减少组词错误率 (WER) 差距提供有用的方向。在 Common Voice 和 Speech Accent Archive 上的 Whisper-medium、HuBERT-large 和 Wav2Vec2-large 中,我们探测每个编码器层以获取元数据派生的性/性别、年龄和母语/口音标签;构造质心和探针导出方向;将它们注入选定的层;并将下游探针轨迹与匹配的 WER 变化进行比较。性别标签具有高度可解码性(最佳宏 F1 0.924--0.941),母语/口音标签也高于偶然性(0.544--0.696),并且年龄较弱(0.354--0.397)。在 22 个选定后的重运行中,有 9 个的 95% 的配对引导间隔完全低于零,但每个源组 WER 的绝对减少量都低于 0.7 个百分点。相反,当 WER 恶化时,本地目标类探测率可以从 8.09% 上升到 99.87%。因此,线性可读性既不是因果使用的证据,也不是可靠的缓解方法。我们的结果激发了在表征、传播和任务层面联合评估言语偏见干预措施。