论文

SACQ:按动作误差分配码本精度压缩VLA到超低比特

SACQ: Structure-Aware Codebook Quantization for Ultra-Low-Bit Vision-Language-Action Models

模型优化应用与实践模型推理推理加速量化机器人

摘要

视觉-语言-动作 (VLA) 模型可实现强大的机器人行为,但其较大的内存占用限制了在资源受限的机器人平台上的部署。权重量化是一种自然的补救措施,但从大型语言模型继承的训练后量化 (PTQ) 配方在以超低精度应用于 VLA 时效果会下降。现有低位宽PTQ方法通常未显式考虑下游运算结构,分配精度时也未考虑其对策略动作的影响。我们介绍 SACQ,一种用于 VLA 的超低位宽、仅量化权重的向量码本框架。 SACQ 将 (1) 结构感知码本拟合与反映输入统计数据和下游敏感性的特定于角色的二次度量相结合; (2)基于各个层压缩时最终动作误差增加的动作感知混合位分配; (3)两阶段量化后细化,通过二阶误差补偿重新分配码字索引,并根据解码的动作校准码本和行组尺度。使用 GR00T N1.7,SACQ 在每个语言/动作权重 1.5 位的四个 LIBERO 套件中实现了 93.85% 的平均成功率,同时将模型内存占用降至原来的约1/4.83。通过 INT8 激活量化和低精度注意力,它保持了 93.55% 的成功率,同时运行速度为 BF16 的1.51倍。在 SimplER 上,SACQ 在每个语言/动作权重 2 位的视觉匹配和变体聚合下进一步取得了 63.76% 和 52.27% 的成功率,而 BF16 分别为 58.90% 和 53.45%。

SACQ:按动作误差分配码本精度压缩VLA到超低比特:论文配图
图1:GR00T N1.7上的SACQ性能与效率。(a)语言/动作部分降至每权重1.5比特(W1.5)时,SACQ仍在LIBERO上保持接近BF16的表现,在较低位预算下优于基线。(b)SACQ的W1.5将模型内存占用降至原来的1/4.83;W1.5A8相对BF16达到1.51倍速度。A16/A8分别表示16/8比特激活设置。