谱权值衰减：在神经网络权值中引入低阶结构

标准权重衰减将每个权重矩阵视为向量并忽略其谱结构。我们引入了光谱权重衰减，这是一种后步骤解耦核范数更新，它应用加法而不是乘法光谱收缩。我们将更新与近似近端下降联系起来，并表明其对更新顺序的敏感性可以超过排名不足附近的传统 $\ell_2$ 权重衰减。在参数为 124$M 至 $500$M 的 LLaMA 模型中，谱权重衰减降低了有效排名并改进了匹配验证损失时的 SVD-LLM 压缩。在 $500$M 和 $4\%$ 失真预算下，它达到 $1.89\times$ 压缩和 $1.18\times$ GPU 推理加速，而标准权重衰减后为 $1.14\times$ 和 $1.01\times$。在使用 $60\%$ 标签噪声的固定水平训练下，它还比匹配的 $\ell_2$ 正则化在 MNIST 上提高了高达 $17.8$ 点，在四个基于 BERT 的任务中提高了 $4.6$ 点的最终平均干净测试精度。代码可在 https://github.com/brain-lab-research/SpectralWD. 获取