开源项目

PEFT 0.21.0 新增微调方法并修复适配器处理

huggingface/peft

模型训练参数高效训练

概述

PEFT 是参数高效微调库,通过只训练部分新增或选定参数,降低调整大模型的资源需求。 稳定版本对参数高效训练机制形成实质更新。 v0.21.0 新增面向 LoRA 的黎曼预条件优化器、KaSA、Super-Tuning 和 ShadowPEFT。KaSA 选择与任务相关的奇异值进行训练;ShadowPEFT 在冻结基础模型旁运行小型影子网络,跨解码层共享适配状态。版本还修复 LoRA 加权组合中 SVD 路径重复应用缩放的问题,并调整适配器加载与可训练状态处理。 由@smellslikeml贡献的黎曼预条件LoRA优化器(#3382)是类似LoRA-FA或LoRA+的LoRA专用优化器。它对梯度施加黎曼预条件,以改善特征学习,并避免分别调整LoRA的A、B矩阵学习率。