论文
EinSort：排序是我们张量化所需的全部 LLM
EinSort: Sorting is All We Need for Tensorizing LLM
摘要
张量网络为压缩大型神经网络提供了有效的表示。通过仔细设计形状和拓扑，它们可以显着降低内存和计算成本。然而，由于其巨大的规模和非结构化的权重分布，识别大型基础模型中隐含的低秩结构仍然具有挑战性。我们提出了一种自适应张量化方法，通过索引排序发现目标张量中固有的低秩结构。权重和 KV 缓存压缩的实验表明，与基线相比，重建质量有所提高。
EinSort: Sorting is All We Need for Tensorizing LLM
张量网络为压缩大型神经网络提供了有效的表示。通过仔细设计形状和拓扑，它们可以显着降低内存和计算成本。然而，由于其巨大的规模和非结构化的权重分布，识别大型基础模型中隐含的低秩结构仍然具有挑战性。我们提出了一种自适应张量化方法，通过索引排序发现目标张量中固有的低秩结构。权重和 KV 缓存压缩的实验表明，与基线相比，重建质量有所提高。