论文

多语言量化税:边缘 SLM 的结构崩溃和类型脆弱性

The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs

模型评测鲁棒性、公平性与可信度评测

摘要

虽然 4 位权重量化对于在边缘设备上部署小语言模型 (SLM) 至关重要,但对由此产生的性能下降(量化税)的评估仍然绝大多数以英语为中心。我们提出了跨 Gemma 4 和 Qwen 3.5 架构的 4 位量化的零样本多语言评估。使用 MMLU ProX Lite 和 GlobalPIQA 对八种类型不同的语言进行评估,我们发现参数截断暴露了深层的 预训练 不等式。我们发现了四种现象:(1)类型脆弱性:低资源和特定的非拉丁文字通过特定于体系结构的双重解离而遭受表征崩溃,无法生成有效的任务 logits; (2)母语脆弱性悖论:基础预训练路径提供有限的精度损失保护; (3)特定领域的遗忘:多步跨语言路由退化,而联想软科学回忆仍然稳健; (4) 抗量化性:高度饱和、类型对齐的域可抵抗确定性退化,量化后的性能增益受到统计噪声的限制。