无损张量压缩作为程序综合

模型检查点的数量和规模都在增长，这使得归档、传输和部署的成本越来越高。通用压缩器可以减少存储需求，但忽略张量结构，而现有的张量专用压缩器依赖于固定且特定于格式的管道。我们提出了 Brevis，它将无损张量压缩制定为程序综合。我们设计了一种类型化的领域特定语言（DSL），它通过一组可逆运算符捕获重复出现的张量结构，例如重复区域和浮点字段。给定一个张量，Brevis 合成一个独立的 DSL 程序，可以精确地重建它。从张量的小代表性样本中学习的特定于检查点的产生先验，指导有界 A* 搜索来合成紧凑的程序，稍后可以直接执行该程序以进行位精确解压缩。在涵盖语言、音频和图像生成模型的 10 个公共检查点上，Brevis 将检查点数据从 2.13 TB 减少到 1.41 TB，存储减少了 33.93%。它生成的档案比 zstd 和 gzip 等四种通用压缩器小 30.87%，并且比张量专用压缩器 ZipNN 和 DFloat11 更小。在实际并发配置下，Brevis 实现了 3.60 GB/s 的压缩和 6.61 GB/s 的解压，同时保留了每个源字节。