Fast-TurboQuant：一种无乘法器在线矢量量化方法

随着 大语言模型 的扩展，键值缓存和检索增强生成系统的内存带宽成为关键瓶颈。虽然 1 位量化解决了这一限制，但最近的 TurboQuant 依赖于密集随机旋转矩阵来在量化之前调节矢量分布。这种投影每次嵌入需要数百万次浮点乘法，因此很难部署在受限的边缘芯片上。我们引入了 Fast-TurboQuant，这是一种无乘法器的投影架构，它用结构化的快速 Johnson-Lindenstrauss 变换取代了密集矩阵。通过应用 Rademacher 相位反转和快速 Walsh-Hadamard 变换 (FWHT)，该方法利用亚高斯浓度来满足标量 Lloyd-Max 量化的先决条件，而无需高斯投影。这种替代将算术复杂性降低到仅加法，从而消除了硬件乘法器。对 DBpedia OpenAI-3 Large embeddings 的评估表明，在顺序执行下算法加速了 19.7 倍。此外，FWHT 零填充带来的维度扩展减少了均方误差并提高了 Recall@10。