通过切片特征进行神经网络的快速张量化 蒸馏

我们提出了一种基于切片特征 蒸馏 的可扩展张量化框架，用于神经网络压缩。与依赖于昂贵的全局微调的传统张量分解方法不同，我们的方法将网络分解为由单独层或块（例如，卷积层或 MLP）或小组连续层组成的切片，并独立张量化每个切片以重现原始预训练模型的中间表示。这种模块化策略提高了准确性恢复，减少了数据需求，并实现了高效的并行优化。 ResNet-34 上的实验表明，与传统的全局张量化相比，效果显着，以中等压缩率实现近乎无损的压缩，并具有更快的优化速度。 GPT-2 XL 的结果进一步证明了该方法的可扩展性及其对大规模模型的适用性，特别是在分布式设置中。