论文
SubT：音频语言模型小样本泛化的子空间调整
SubT: Subspace Tuning for Few-shot Generalization of Audio-Language Models
摘要
预训练音频语言模型 (ALM) 的少样本参数高效适应通常会以看不见的类泛化为代价来提高可见类的性能，从而导致基础到新的权衡。我们通过文本嵌入空间中的零样本漂移来研究这种失败：少数样本调整可能会扭曲类间结构，并使适应的嵌入远离其预训练的锚点。因此，我们提出了子空间调整（SubT），这是一种嵌入空间适应方法，它将几何感知共享变换与锚定到零样本原型相结合。学习到的转换被转移到看不见的类，并通过子空间感知门控来减轻负转移。在 11 个音频基准测试中，SubT 实现了强大的小样本泛化，同时直接对预先计算的文本嵌入进行操作，而无需文本编码器反向传播。代码可在 https://github.com/jhyukjang/SubT 获取。