自监督slot表征重建AST图块以支持多任务音频分析

本文研究了以对象为中心的音频表示在统一框架内支持多个下游任务的能力。通过从一组潜在槽位重建音频频谱图 Transformer (AST) 图像块嵌入，使用槽位注意力在自监督设置中训练以对象为中心的模型。它接受合成音频混合的训练，提供受控的多源音频场景。通过训练特定于任务的输出层来评估这些槽位表示的声音事件的分类、检测和分离。在分类任务中，该模型的 F1 分数为 0.8，与音频片段级 AST 嵌入的 0.7 相当。对于声音事件检测，它的宏平均 F1 分数为 0.7，优于 0.4 的音频片段级 AST 嵌入，并匹配 0.7 的 AST 图像块嵌入，后者编码更精细的时频信息。在源分离方面，它实现了 18.4 dB 的 SI-SDR 改进 (SI-SDRi)。此外，在零样本源分离设置中，该模型实现了 14.5 dB 的 SI-SDRi。这些结果表明，基于槽的表示捕获音频场景中的可迁移且可组合的结构，从而实现跨任务和数据集的泛化。