论文
XOR-Trellis：超低复杂度反量化和曲率感知的无 Hadamard LLM 量化
XOR-Trellis: Ultra-Low-Complexity Dequantization and Curvature-Aware Hadamard-Free LLM Quantization
摘要
网格编码量化能够以超低位宽对大语言模型 (LLM) 权重进行高维压缩，而无需传统矢量量化所需的指数级大码本。然而，实际部署面临两个挑战：以足够的并行吞吐量重建压缩权重以避免使反量化成为推理瓶颈，以及在不进行昂贵的不相干变换的情况下保持量化精度。我们通过两种互补的技术来应对这些挑战。首先，我们引入了一种超低复杂度的网格去量化器，它使用结构化的、硬件高效的状态到值映射，同时保留网格搜索的多种重建选择。其次，我们使用曲率感知目标重新表述离散网格路径优化，该目标直接反映原始坐标空间中的模型敏感性。这些技术共同实现了高质量的超低位网格量化，并且具有廉价、高度并行的运行时重建，并且无需依赖基于 Hadamard 的不相干处理。