BiSCo-LLM：用于极低位 大语言模型 压缩的免查找二进制球形编码

大语言模型 (LLM) 在部署过程中越来越受到内存容量、权重带宽和检查点存储的限制。现有的低比特压缩方法主要遵循两个方向。标量或分组量化很简单，并且与高效的低精度内核兼容，但当目标预算接近每个权重 2 位时，其表示能力就会受到限制。矢量量化权重压缩提供了更丰富的块级表示，但通常会引入显式码本、索引查找和额外的存储核算。本文提出了 BiSCo-LLM，这是一种用于极低位 LLM 权重压缩的无码本二进制球形编码框架。核心管道基于三个组件构建。首先，局部权重块被映射到单位超球面上并二值化为紧凑的球形代码，以便主要有效负载是位打包的符号流而不是显式的 VQ 质心。其次，残差 BSQ 阶段对基础球形编解码器留下的重建误差进行编码，从而提供明确的速率失真路径，而无需存储码本。第三，在替换每个Transformer模块类别后执行类别恢复蒸馏，减少局部权重重建和组装模型行为之间的不匹配。一个小的 8 位受保护通道路径用作敏感通道的辅助稳定机制，并与 BSQ 有效负载分开计数。报告的存储预算包括二进制代码、神经解码器、受保护通道有效负载、LoRA 适配器和元数据。