论文

绑定 Trit 平面:将 PTQTP 限制为统一的九级量化器,并采用持久折叠格式进行磁盘流混合专家服务

Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving

摘要

PTQTP 将 LLM 权重矩阵分解为两个三元 (trit) 平面,并具有两个自由的每组尺度。将尺度与三的固定比率联系起来,将分解分解为单个均匀的九级量化器,这是一种已知的平衡三元恒等式。据我们所知,在撰写本文时,这项工作是第一个将该恒等式作为约束强加于 PTQTP 求解器内部的工作。然后,这两个 trit 平面无损地折叠成一个 4 位代码平面,我们将其作为持久服务表示:磁盘字节、专家缓存字节和内核输入是相同的 4.0625 位/权重块,在一个整数点传递中消耗。对于这种结合(比率 3 九级代码、CPU-SIMD 内核、SSD 专家流、相同的持久字节),我们同样没有发现先例。我们将此应用于 DeepSeek-V4-Flash-0731 的路由专家(一种 284B-A13B 专家混合模型),从发布的 MXFP4 专家权重和 64 GB 笔记本电脑上 SSD 的流专家中一次性进行量化。相对于 4.5 位 Q4_K 基线,使用专家无损锚臂作为参考控制测量每个夹具的一个过程,绑定模型与 5/5 夹具上第 0 步(Q4_K:4/5)和 12/14 捕获的连续步骤(11/14)上的官方服务 API 相匹配,在 100 项 MMLU 子集上得分 86 比 84,在解码阶段解码速度提高 6.7%,并且交付的文件小了 9%:在这些小评估尺寸下没有检测到保真度差异,并且臂之间的每个夹具级别差异都跟踪到单个测量的近连接单元。然而,捆绑拟合显示出更高的权重重建误差和更差的困惑度,即代理指标和参考保真度之间的测量分离。累积的主干三值化阶梯和按位固定的 aarch64/x86-64 内核完成了报告。所有代码、格式和评估工件都是 fucina 推理堆栈中的开源代码。