LowRankArena：基于 SVD 的 LLM 压缩的标准化评估平台

基于SVD的低秩压缩已成为降低大语言模型（LLM）的内存和计算成本的快速增长的方向。然而，对现有研究进行有意义的比较仍然很困难，因为之前的评估使用了不同的基准、不一致的比率和不同的设置，通常无法从辅助技术中分离出低秩效应。因此，目前尚不清楚报告的收益是否反映了方法层面的改进或评估方案的差异。这种可比性的缺乏突出表明需要一个统一的、可重复的评估平台。为了解决这个问题，我们推出了 LowRankArena，这是一个基于 SVD 的 LLM 压缩的标准化评估平台。 LowRankArena 统一了任务版本、统一精度压缩预算、比较机制和推理测量，并提供了具有超过 3 TiB 发布的压缩检查点的可重现管道。使用 LowRankArena，我们对五种代表性 SVD 方法的一致审计表明，先前的发现在标准化协议下是高度有条件的：明确的领导者和性能层在骨干网之间转移并保持比率，多项选择准确性可以隐藏大量的困惑度下降，名义上的低秩节省会产生依赖于工作负载且通常有限的端到端加速。我们的代码位于：https://github.com/Zishan-Shao/lowrankarena.git。