运动补偿重量压缩

神经网络权重日益成为部署的瓶颈，但大多数压缩管道独立处理层，并忽略了由功能保留对称性引起的跨层冗余。我们提出了运动补偿权重压缩（MCWC），这是一种仅权重的编解码器，它对齐排列对称块（例如隐藏单元和注意力头）以最大化跨层对应性，将深度转变为可预测的序列。在对齐的坐标系中，MCWC 使用具有周期性关键帧的轻量级层顺序预测器，并使用在率失真目标下训练的学习熵模型仅对量化的预测残差进行编码。简单的解码器通过熵解码、反量化、预测器驱动的重建和逆对齐来重建可部署的权重，从而实现推理的快速权重物化。在 Transformer 语言建模和视觉分类中，MCWC 在强量化和学习权重编解码器基线上提高了速率准确度 Pareto 前沿，同时保持有竞争力的解码时间。消融证实，对齐、预测、熵建模和关键帧调度对于获得全部收益都是必要的。我们的代码可通过 https://github.com/Ism-ail11/MCWC 获取。