音乐多模态检索PEFT比较：单模态改善不保证跨模态表征更好

基于乐谱的多模态音乐检索要求表示既能在各模态内有效区分对象，又能在音频录音、乐谱图像与符号乐谱之间相互兼容。本文研究参数高效微调（PEFT）适配预训练音乐编码器的效果，以及单个模态的改进是否会转化为更好的多模态表示。在 TriScore 和 Musical Theme Dataset 上，对九种预训练音频、图像和符号乐谱编码器比较全量微调、LoRA 与 QLoRA。研究先以冻结编码器的线性探测为参照，通过有监督的单模态分类评估和选择编码器；随后采用受控的2×2设计，将编码器适配与任务特定的共享投影交叉组合，比较投影前后的冻结表示与适配表示。在18种模态—目标组合中，14种选择了 LoRA 或 QLoRA，通常可匹敌或优于全量微调，且优化的参数少得多。但单模态增益并不一致地转化为多模态分类增益：适配与投影在 TriScore 作曲家分类中互补，在 TriScore 乐器分类及 Musical Theme Dataset 的乐器和合奏任务中大体冗余，在后者的作曲家分类中则部分相互干扰。TriScore 最终经适配和投影的曲目标题表示支持乐曲级检索，平均 Top-5 和 Top-10 准确率分别为55.32和64.68。跨模态排除与邻域分析进一步揭示，投影空间保留了较强的模态特有局部结构。总体上，PEFT 是全量微调的有效且计算高效的替代方案，但仅提高单模态判别能力，并不保证改善多模态组织。