冻结因子还是光谱带？解开低秩 LoRA 中的两种选择

低秩适应 (LoRA) 的光谱变体选择子空间和要冻结的因子。我们通过将输入因子 A 或输出因子 B 冻结在预训练权重的顶部或底部奇异方向上来分离这些选择，并单独选择学习率。在秩 2 时，冻结 A 的同带优势大于所有四个任务模型对上的任何一个因子内带差异（具有完整的比较）。 Freezing B 在涵盖格式化任务和 OpenBookQA 的 5 个对上也落后于同等预算的免费 LoRA 8-18 个百分点。 A 冻结优势在单 GPU 模型复制和各个 MLP 模块组内持续存在，包括 B 冻结具有相同或更大可训练计数的控制，以及当 A 在随机正交基础上冻结时。因素对比随着秩的增加而减弱。在 OpenBookQA / Qwen2.5-1.5B 上秩 16，PEFT 的 MiCA 实现在从 MiCA 论文转移的共享训练配方下落后于同等预算的 LoRA 3.08 个点。经过训练的预言机输出子空间很大程度上消除了低秩缺陷；部分热身收益在三个方向的种子中重复出现。因子与频带的排序是描述性的；近似的多重性审核削弱了一些早期的重要性主张。这些结果通过显示其大小如何取决于谱位置、秩和训练条件，扩展了已知的因子不对称性。