比房间更安静：语音编码器中的表示漂移和任务鲁棒性

非语音干扰可以改变语音表示，而不会导致类似的任务损失。我们在四项任务中测试了八个冻结编码器，在整个录音期间、演讲期间或暂停期间添加非语音声音。在整个录音干扰下，嵌入漂移跟踪七种声音中的任务损失，平均 Spearman 相关性为 0.81-0.88。在语音和停顿之间移动相同的声音会改变这种模式。在安静到中等水平下，暂停干扰会产生较大的漂移，而语音干扰通常会对意图识别、说话人验证和语音识别造成较大损失。情感识别表现出较弱的放置效应。暂停干扰还会改变注入区域之外的语音帧表示。即使低于估计的录音背景，干扰也会像重复语音一样改变嵌入。漂移有助于对不同声音的效果进行排名，但较大的漂移并不总是表明任务损失较大。