块球矢量量化

矢量量化是可扩展机器学习系统的基本原语，可实现内存高效存储、快速检索和压缩推理。最近的基于旋转的量化器（例如 EDEN、RabitQ 和 TurboQuant）引入了强有力的保证和经验性能，但周围的比较很难解释，因为它们依赖于不同的失真标准、概率机制和实现假设。作为我们的第一个贡献，我们提供了这些方法的统一理论比较，并表明它们的相对优势是依赖于标准的而不是绝对的：EDEN 和 TurboQuant 有利于 MSE 失真，EDEN 对预期内积失真也有效，RabitQ 提供强大的高概率控制。这一比较进一步表明，EDEN 为预期的失真措施提供了特别有力的保证。作为我们的第二个贡献，我们引入了块球量化（BlockQuant），这是一种新的基于旋转的块量化算法，围绕随机旋转矢量的球形几何设计。与坐标量化器不同，BlockQuant 量化球体上的块，更忠实地保留旋转嵌入的几何形状。我们证明，这种块球设计在理论上比本文考虑的重建 MSE 和预期内积失真的基线有所改进。我们对真实嵌入数据集和长上下文 LLM 推理任务的实验显示了与我们的理论改进一致的实际收益。