AllMusicCaps：专辑评论作为音乐的补充监督 CLAP

最近的开放文本音频对比模型（CLAP）通常使用 LLM 生成的来自标签数据集或网络搜索结果的字幕进行训练，这些字幕往往准确但表现力有限。作为补充来源，我们探索了人类撰写的专辑评论，特别是来自 AllMusic 的专家评论：它们大规模存在，并带有其他来源所缺乏的叙事线索、评价形容词和场景框架。由于原始评论噪音太大，无法直接用作字幕，因此我们首先通过 LLM 预处理管道构建包含 24,5346 个样本的字幕语料库，该管道可识别描述性音乐引用并将其重写为训练就绪的字幕。我们发现专辑评论监督在人工编写的字幕基准（歌曲描述器）上产生了最大的检索收益，特别是对于其他现有字幕数据集未覆盖的复杂查询。此外，我们重新审视了训练方法，并表明 SigReg 正则化鼓励嵌入空间中的各向同性高斯分布，改进了跨分类任务的 MLP 探测以及文本到音乐检索。生成的模型在文本到音乐检索、零样本分类和大多数 MLP 探测任务方面优于开放 CLAP 式基线。我们发布了基于评论的标题数据集和模型权重以支持未来的研究。