论文
漂移增强评分：零样本音频语言分类的文本衍生噪声鲁棒性
Drift-Augmented Scoring: Text-Derived Noise Robustness for Zero-Shot Audio-Language Classification
摘要
CLAP 等对比音频语言模型可实现零样本音频分类：通过将声音的嵌入与文本提示嵌入相匹配来标记声音，而无需标记音频。这种匹配在声学噪声下会失效，在标准基准测试中，0 dB SNR 下的准确度和 mAP 会下降 12-30 个百分点。我们提出漂移增强评分（DAS），这是添加到余弦分数的每类小额奖励。当噪声音频嵌入朝着班级的噪声条件文本提示预测的方向漂移时，奖励会奖励该班级。它仅从文本派生，计算一次并缓存，并在推理时为每个类添加一个内积，没有梯度，也没有测试时批次。在 LAION CLAP 主干上，我们将 DAS 与 Acevedo 等人在 UrbanSound8K 和完整 FSD50K 评估集上的并发方法的四种变体进行比较，将每个片段与一系列 SNR 内的城市声学场景噪声混合。 DAS 改进了每个测试条件下的指标：UrbanSound8K 上的准确度提高了 +2.60 到 +5.75 点，FSD50K 上的 mAP 提高了 +1.50 到 +1.74 点。