论文

动力学即代码:通过动态系统进行模型压缩

Dynamics as Code: On Model Compression via Dynamic System

模型优化模型压缩

摘要

预训练神经网络的规模不断扩大,使得模型压缩成为在严格的内存和计算限制下进行部署的先决条件。以无理缠绕为例,早期的工作引入了动态系统(DS)范式,将压缩重新概念化为紧凑的权重表示:高维参数由动态系统产生的轨迹索引进行编码,在解压缩过程中从中恢复矢量。这种机制与剪枝、量化、知识蒸馏和低阶分解有着本质的区别。沿着这个方向,我们证明了在丢番图条件下,无理缠绕中的\(M = O(ε^{-(d+ν)})\)状态的有限轨迹在\(d\)维权重空间上构成了\(ε\)网,从而以可预测的方式将状态分辨率、解压缩误差和压缩比联系起来。此外,我们通过统一四个DS系列——空间填充曲线(Hilbert、Peano、Morton/Z-order、Snake)、混沌系统,提出了一种基于DS的广义模型压缩框架 (Lorenz)、同余和伪随机生成器 (LCG、PCG) 和低差异序列 (Halton)。此外,我们还引入了 KD 树和坐标模板加速来扩展到大型模型,以及异常值识别来控制误差。在ResNet-18和Qwen2.5-1.5B/Qwen1.5-7B上的实验验证了基于DS的压缩无需事后重新训练即可实现有竞争力的压缩比,具有可控的解压误差和灵活的状态空间设计,使其成为一种有原则且实用的压缩方法。