论文
ChainDoRA：张量训练因式分解权重分解低秩适应，用于参数高效的 LLM 微调
ChainDoRA: Tensor-Train Factorized Weight-Decomposed Low-Rank Adaptation for Parameter-Efficient LLM Fine-Tuning
摘要
参数高效微调 (PEFT) 使大型语言模型 (LLM) 适应下游任务，同时仅更新其预训练参数的一小部分。低秩自适应 (LoRA) 使用两个可训练的低秩矩阵，而权重分解低秩自适应 (DoRA) 进一步分离权重大小和方向，但在其方向分支中保留密集的 LoRA 式分解。我们提出了 ChainDoRA，一种权重分解的自适应框架，它从连接的张量训练（TT）链构建定向低秩因子，其中适配器秩形成输入侧 TT 收缩和输出侧 TT 收缩之间的边界秩，独立的 TT 秩控制表示容量和参数成本。在 LLaMA-7B 的受控 15,119 个示例仅响应自适应设置下，ChainDoRA 在七个常识推理基准上根据匹配的 LoRA 和 DoRA 基线进行评估。 TT 排名 16 的 ChainDoRA 的七项任务平均准确率为 72.30%，而 LoRA 为 69.88%，DoRA 为 69.39%，同时仅需要 5.35M 可训练参数，而 LoRA 为 56.10M，DoRA 为 56.98M，相对于 DoRA 减少了 90.62%。 TT 等级和适配器放置的消融显示了可控的参数精度权衡，表明连接的 TT 参数化可以显着降低幅度方向自适应的参数成本，同时保留并在此设置中提高下游推理性能。