论文
用于不确定性感知多模态学习的跨模态贝叶斯低秩自适应
Cross-Modal Bayesian Low-Rank Adaptation for Uncertainty-Aware Multimodal Learning
摘要
大型预训练语言模型越来越多地适应使用参数高效的 微调 (PEFT) 的下游任务，但现有的 PEFT 方法通常是确定性的和单峰的，这使得它们不太适合预测不确定性和跨模式可靠性都很重要的低资源多模态设置。我们介绍了 CALIBRE（具有贝叶斯嵌入正则化的上下文感知低秩推理），这是一种用于音频文本学习的多模态不确定性感知 PEFT 框架。 CALIBRE 通过调节每层 词元级 文本音频交叉注意力的适配器空间中的变分后验，扩展了贝叶斯低秩自适应。具体来说，文本派生的低秩特征涉及帧级音频嵌入以产生局部声学上下文，然后调制rank-$r$适配器空间内的紧凑随机潜在矩阵的均值和方差。这种设计不仅将音频视为附加特征源，而且将其视为塑造适应性和信心的上下文可靠性信号。通过将随机性限制在低维潜在成分，CALIBRE 保留了 PEFT 的计算效率和可扩展性，同时实现异方差多模态不确定性估计。跨不同文本和音频主干的实验结果表明，CALIBRE 始终匹配或改进纯文本贝叶斯 PEFT 和传统的多模态迁移学习基线，词元级 交叉注意力产生最一致的增益。我们的研究结果表明，局部跨模态调节是一种有效且轻量级的不确定性感知多模态适应机制。