TORQUE：优化旋转前后量化的内容（不量化）

均匀随机旋转是量化的有效预处理步骤：它们使归一化坐标分布近似高斯分布，从而可以使用离线优化的码本。我们引入了 TORQUE，这是一个框架，它改进了以前使用随机旋转的量化工作，通过联合优化在固定的总体预期位预算下在旋转之前和之后以高精度保留多少个坐标和哪些坐标。直观上，在旋转之前，以高精度保存大输入坐标可以通过防止旋转将其值分散到多个坐标上来减少总体误差。同样，旋转后，以高精度保留一小部分最大幅度坐标，可以使用针对所得截断高斯分布进行离线优化的码本来更准确地量化剩余值。我们推导了量化误差上限，并证明 top-$k$ 预旋转保留可将每个 $k$ 的误差最小化。这将对坐标子集的搜索减少到超过 $k$ 的优化，从而实现使用离线码本和并行参数选择进行实际实现的快速优化器。我们通过高斯模型下的数值评估以及最近邻检索、KV 缓存压缩和激活压缩的实验证明了重建精度和存储成本之间的改进权衡。