MiCA 比 LoRA 学到更多知识并完整 微调

次要组件适应 (MiCA) 是 大语言模型 的一种新颖的参数高效 微调 方法，专注于适应模型表示的未充分利用的子空间。与低秩适应 (LoRA) 等针对主导子空间的传统方法不同，MiCA 利用奇异值分解来识别与最小奇异值相关的次要奇异向量相关的子空间，并将 微调 期间的参数更新限制到这些方向。与 LoRA 相比，该策略在优化训练超参数和 6-60% 的最小参数占用下将知识获取提高了 5.9 倍。这些结果表明，限制对次奇异方向的适应为将新知识集成到预先训练的语言模型中提供了更有效和稳定的机制。