位和内存：测量 LLM 量化的逐字提取

语言模型几乎总是在部署之前进行量化，并且越来越多的工作询问量化是否也可以降低其隐私风险。这项工作几乎完全通过成员资格推断来衡量隐私。我们认为，对于大多数人真正担心的风险（即模型逐字复制其训练数据）来说，这是错误的衡量标准，而我们直接对其进行衡量。使用 Pythia 模型和每个模型都已记住的公共序列集，我们跟踪五个精度级别（从全精度到四位）以及三个模型大小的逐字提取，同时测量每个点的一般能力（困惑度）。我们发现两件事。量化是一种选择性遗忘者：在我们尝试的每种精度和每种模型大小上，逐字记忆的下降速度都快于能力，并且这在两种不相关的量化算法和两个评估语料库下成立。但选择性不足以使量化成为隐私防御，这削弱了对早期成员资格推断结果的乐观解读。在我们研究的最大模型中，四位量化仍然可以再现大部分记忆序列，同时仅放弃百分之几的能力，并且在量化中幸存下来的记忆数据的比例随着模型大小的增加而增长。我们的结论是，压缩不应被视为删除记忆的训练数据的一种方式，并且从业者应该关注的是提取，而不是隶属推理。所有代码、采样评估数据和每个配置的结果均已发布。