三值语言模型中按能力分层的性能退化

极低位推理提供了通往更小模型和受限部署的途径。三元语言模型将权重限制为 $\{-1,0,+1\}$，接近 $\log_2 3 \approx 1.585$ 位/权重的限制。预训练模型的实际问题不仅仅是权重是否可以量化，而是哪些功能可以保留以及它是否仍然对适应有用。我们通过使用 7240 万个量化感知训练 (QAT) 标记将 Qwen3.5-0.8B（752M 参数）转换为三元权重来探索这一点。生成的模型 Cloe 通过 29 个基准、表征诊断和下游微调进行评估。证据表明降解不均匀。线性探针从全精度教师的表示中恢复了 43.76% 的 MMLU 答案，但从 Cloe 中仅恢复了 26.19%（几乎是偶然），这表明专业事实信息丢失了。然而，克洛在 10 项任务上保持了可衡量的表现，平均达到教师表现的 77.1%。至关重要的是，微调将 SST-2 上的 Cloe 提高到 89.8%（匹配教师的 95.6%），并在 XSum 上达到 79.4% 的教师保留率。我们将退化归因于量化引起的信息丢失和由于 QAT 预算有限而导致的不完全恢复。我们还强调了一个评估陷阱：标准答案字母评分失败（Cloe 在 98.6% 的 MMLU 问题上给出了“A”），需要继续评分。最终，三元转换不适合作为直接的一般替代品，但作为特定任务模型的紧凑基底仍然有价值。