UniRank：低秩 LLM 压缩的统一秩分配

低秩分解对于 大语言模型 (LLM) 来说是一种很有前途的压缩范例，但其有效性取决于权重矩阵之间的秩预算分配：统一或手工制定的规则忽略了模块重要性，而基于学习的分配会产生大量的训练开销。我们将排名分配制定为全局排序和截断管道，通过将局部奇异能量与全局功能重要性相结合来对每个奇异分量进行评分，并通过微小校准集上的逐层输入输出余弦相似度进行估计。我们从几何和经验上证明，高输入输出余弦相似度意味着低有效等级。我们进一步提出了秩保持 微调 (RPFT)，它仅适应保留的奇异分量的一小部分子集，以便分配的秩保持有界而无需重新分解。实验结果表明，UniRank 将零样本困惑度降低了 50%，在稀疏度为 25% 的情况下，与 LoRAP 相比，平均推理精度提高了 3.0%，并作为即插即用模块增强了四种基于 SVD 的分解方法。