TileQ：使用 2D 平铺进行专家混合的高效低秩量化

专家混合（MoE）模型通过稀疏地激活专门专家来实现卓越的性能，但专家中的大量参数给部署带来了巨大的挑战。虽然低秩量化提供了一种有前途的压缩 MoE 模型的途径，但现有方法仍然会产生不可忽略的内存开销和推理延迟。为了解决这些限制，我们提出了 \textsc{TileQ}，这是一种无 微调 的 后训练 量化（PTQ）方法，该方法采用 2D 平铺结构化低秩量化来在 MoE 专家的输入和输出维度上共享低秩因子。此外，我们为 \textsc{TileQ} 引入了一种有效的推理技术，它将多个低秩专家计算融合到单遍操作中，从而显着提高了硬件利用率。实验表明，\textsc{TileQ} 可将额外的内存使用量减少多达 10$\times$，并将推理延迟降低至 $\sim$5\%，同时保持最先进的准确性。