AdaPaD：具有自校正排名发现功能的 PEFT 自适应并行通货紧缩

微调 使用 LoRA 的 大语言模型 需要在训练开始之前选择等级 r。现有方法要么按顺序提取 1 阶分量，将每个分量的误差永久冻结到每个后续残差中，要么联合优化完整的低秩分解，并保证仅描述联合更新，而不是单独的 1 阶方向。我们提出了 AdaPaD（自适应并行通货紧缩），它同时训练所有 1 级组件：每个工作人员根据所有前辈的最新估计构建的通货紧缩目标来完善其组件，并且随着这些估计的改善，目标也会改善。我们将此属性称为自我校正：通货紧缩误差在几轮中收敛到零，而不是作为固定残差持续存在。在此主干之上，AdaPaD 添加了高级学习（激活前私有 预训练）和每个模块动态排名发现（基于重要性的增长，直到共享预算耗尽），使排名分布成为输出而不是输入。我们证明，每个组件的误差在预热期后呈指数衰减，其泛化界限分裂为消失的算法项和不可约的统计下限。根据经验，在参数预算匹配的情况下，AdaPaD 与基于 DeBERTaV3 的 GLUE 上的自适应秩 LoRA 基线具有竞争力，并且与 Qwen3-0.6B SQuAD/SQuAD v2 上的固定秩 LoRA 具有竞争力，同时部署的适配器平均小 30.7%。