HyperZip：通过具有超网络的个性化扩散大语言模型进行高效数据压缩

大语言模型（LLM）已显示出无损数据压缩的强大潜力，但现有方法受到高计算成本和自回归解码的低吞吐量的限制。我们提出了 HyperZip，这是一种高效且可扩展的基于 LLM 的压缩框架，它利用基于扩散的 LLM (dLLM) 和多词元预测 (MTP) 来加速基于 LLM 的数据压缩过程。我们确定了基于扩散的压缩的权衡，其中增加解码吞吐量会降低压缩率。为了减轻这种权衡，HyperZip 采用超网络从上下文表示生成特定于数据的更新，使 dLLM 适应目标数据，而无需进行昂贵的微调，从而实现低压缩率和高吞吐量。大量实验表明，与最先进的基线相比，HyperZip 在压缩率和速度之间实现了卓越的权衡。