NeuralZip：复用统计准备加速模型权重无损压缩

无损压缩可以在不改变浮点值的情况下减少模型权重的存储和移动，但重复的统计分析和代码构建会增加计算开销。我们研究指数的统计结构是否可以一次性准备并重复使用。为此，我们引入了 NeuralZip，它将具有相似指数分布的块分组，共享霍夫曼代码，并使用压缩指数选择性地表示循环指数元组，从而实现额外的适度压缩比。设置在后续编码之前选择这些表示，而每个编码仍然处理当前的张量值。在浮点模型检查点中，设置后压缩比基线快 1.81-21.33$\times$，并实现精确的位到位重建。我们表明，该设置可以预先计算并从另一个兼容架构转移，保留类似的压缩比并避免分摊设置成本。因此，压缩自适应是可转移和可重用的。训练检查点 展示随着权重的变化而持续重用。最后，GPU 实验将活动内存使用量减少了 27.5$\%$，同时准确地再现了 logits。