论文
LLM 压缩的跨层子空间耦合：统一框架及其经验限制
Cross-Layer Subspace Coupling for LLM Compression: A Unifying Framework and Its Empirical Limits
摘要
最近针对 大语言模型 的基于 SVD 的压缩方法（例如 SVD LLM 和基础共享）可以在一个优化问题下统一。虽然 Pythia 模型的数学证明和测试表明，这种统一方法将权重重建误差提高了 46%，但在实际任务中却失败了。与标准每层 SVD LLM 相比，诸如困惑度和准确性之类的下游指标严重下降。作者从机械上解释了这种失败。尽管捆绑方法在数学上耦合了相邻层，但 Transformer 残余流实际上在前向传播期间将它们解耦。因此，每层优化比联合跨层优化更重要。该论文的结论是，权重空间重建是跨层压缩的一个有缺陷的目标，未来的方法必须关注每层激活重建。