Big2Small：用于模型压缩的统一神经网络框架

随着基础模型的发展，模型压缩已成为关键要求。人们已经提出了基于不同启发式的各种模型压缩方法，例如低秩分解、剪枝、量化、遍历动态系统和 知识蒸馏。为了将该领域从碎片化提升为原则性学科，我们构建了一个基于测度论的模型压缩统一数学框架。我们进一步证明，每种模型压缩技术在数学上等价于经过正则化的神经网络。基于这种数学和结构等价性，我们提出了一种经过实验验证的无数据模型压缩框架，称为 \textit{Big2Small}，它将隐式神经表示（INR）从数据域转换为网络参数域。 \textit{Big2Small} 训练紧凑的 INR 以对较大模型的权重进行编码并在推理过程中重建权重。为了提高重建保真度，我们引入了异常值感知预处理来处理极端权重值，并引入了频率感知损失函数来保留高频细节。图像分类和分割实验表明，与最先进的基线相比，\textit{Big2Small} 实现了有竞争力的准确性和压缩比。