精确 LLM 低秩近似的最佳大脑分解

低秩分解已成为 大语言模型 (LLM) 微调 和推理中的一个重要问题。通过奇异值分解（SVD），权重矩阵可以最优地分解为低秩空间。此前，常见的做法是在激活白化空间中分解权重，然后获得满意的结果。在这项工作中，我们提出了最优脑分解LLM（OBD-LLM），它利用二阶Hessian信息研究模型空间中的分解问题。通过对 Hessian 矩阵进行严格的克罗内克分解，我们表明该分解需要同时考虑层的输入和输出信息，并且与仅输入方法相比取得了更好的分解结果。我们的损失感知分解方法涉及权重矩阵的双向白化。因此，OBD-LLM 是语言模型中权重最优分解的封闭式解决方案。值得注意的是，我们取得了比之前最先进的分解方法 SVD-LLM 更好约 20-40% 的结果。