论文
以非线性为秩：基于径向基函数的生成式低秩适配器
Nonlinearity as Rank: Generative Low-Rank Adapter with Radial Basis Functions
摘要
低秩适配（LoRA）用两个低秩矩阵的乘积来逼近预训练权重矩阵的更新。然而，标准LoRA遵循显式秩范式：提高模型容量需要向低秩矩阵添加更多行或列（即基向量），导致参数大幅增长。本文发现，这些基向量存在显著的参数冗余，可以用轻量的非线性函数紧凑表示。因此，我们提出生成式低秩适配器（GenLoRA），用非线性生成基向量取代显式存储基向量。具体而言，GenLoRA为每个低秩矩阵维护一个潜在向量，并使用一组轻量的径向基函数（RBF）来合成基向量。每个RBF所需的参数远少于一个显式基向量，使GenLoRA具有更高的参数效率。在多个数据集和架构上的大量实验表明，GenLoRA在更小的参数预算下达到更高的有效LoRA秩，从而获得更优的微调性能。代码见 https://anonymous.4open.science/r/GenLoRA。
