论文
通过截断 SVD 表示的 LLM 的高效 预训练
Efficient Pre-Training of LLMs through Truncated SVD Representations
摘要
LLM预训练成本极高；因此，参数高效的 LLM 架构最近已成为一个引人注目的研究方向。一种有前途的方法是将参数表示为正交低秩权重矩阵。然而，在训练期间保持正交性的计算成本很高，因此不切实际。本文提出了 TSVD（截断奇异值分解）框架，该框架通过 QR 分解和缓存有效地保持正交性。此外，引入谱能量启发式来选择所得低秩权重矩阵的秩。跨模型大小的实证评估表明，TSVD 与全参数基线相匹配或优于全参数基线，而计算成本仅为其一小部分。因此，TSVD 为 LLM 预训练提供了可扩展、计算高效的基础。