C-PTQ：MLLM 后训练 量化的 Fisher 加权逐通道灵敏度

多模态 大语言模型 (MLLM) 需要巨大的内存和计算成本，这限制了它们的实际部署。 后训练 量化 (PTQ) 技术为模型压缩和推理加速提供了有效的解决方案。然而，量化模型由于离群通道而面临性能下降，这些通道对量化高度敏感，并严重损害激活保真度和任务准确性。为了在量化过程中保护这些显着通道，现有的 PTQ 方法利用模态或 词元级 指标来指导 LLM 解码器的通道缩放 (CWS)。然而，这些正交测量无法捕获对特定任务损失的通道影响，并且重要性和缩放因子之间的不一致最终导致性能不佳。为了解决这个问题，我们提出了 C-PTQ，这是一种统一的通道方式 PTQ 方法，可以协调特定于任务的损失扰动和量化误差。在二阶导数的推动下，我们将费舍尔加权目标设计为易于处理的 Hessian 近似，将任务敏感性无缝地注入到缩放过程中。值得注意的是，我们无需 LoRA 等辅助模块即可实现最先进的性能，从而保持高效率。在 Qwen2.5VL、InternVL2 和 LLaVA-OV 上跨 8 个基准的实验证明了我们在仅重量和重量激活设置中的有效性。