Gumbel-BEARD：低资源域中 Whisper 自我监督适应的自动层选择

由于领域不匹配和数据稀缺，语音基础模型通常在资源匮乏的领域中举步维艰。我们提出了 Gumbel-BEARD，这是一种域适应框架，可通过端到端可训练的硬 Gumbel-Softmax 选择器自动选择 Whisper 编码器层。它通过 BEST-RQ 目标实现自我监督适应，无需手动调整即可动态适应目标声学特性。 MyST 儿童语音语料库上的实验证明了效率和可扩展性：使用 微调 的 10 小时标记数据，我们的方法与在完整的 133 小时标记集上训练的完全监督基线相匹配。我们在 MyST 上使用 Whisper-medium 建立了新的最先进的单词错误率 (WER) 为 8.21%，在 OGI Spontaneous 数据集上使用 Whisper-small 建立了 11.06%。对 CORAAL 的评估进一步证实了对成人方言域转换的鲁棒性，相对 WER 降低了高达 6%，凸显了我们的方法对各种低资源条件的通用性。