MP-ISMoE：用于高效迁移学习的混合精度交互式专家混合

参数高效迁移学习 (PETL) 已成为使预训练基础模型适应下游任务的关键范例，显着减少可训练参数，但在 微调 期间遭受梯度反向传播造成的大量内存开销。虽然内存高效迁移学习（METL）通过轻量级小型侧网络绕过骨干梯度计算来规避这一挑战，但其严格的内存限制严重限制了侧网络的学习能力，从而显着影响性能。为了解决这些限制，我们提出了一种新颖的混合精度交互式专家混合框架（MP-ISMoE）。具体来说，我们首先提出一种高斯噪声扰动迭代量化（GNP-IQ）方案，将权重量化为较低位，同时有效减少量化误差。通过利用 GNP-IQ 节省的内存，我们随后采用交互式专家混合 (ISMoE) 来扩展侧网络，而不会牺牲整体内存效率。与传统的专家混合不同，ISMoE 通过与冻结主干的显着特征交互来学习选择最佳专家，从而抑制知识遗忘并提高性能。跨不同视觉语言和纯语言任务的广泛实验表明，与最先进的 METL 方法相比，MP-ISMoE 显着提高了准确性，同时保持了可比较的参数和内存效率。