论文

当个性遇上量化:量化 LLM 的分层 MBTI 分析

When Personality Meets Quantization: A Layer-wise MBTI Analysis of Quantized LLMs

模型评测模型行为与机制分析

摘要

个性在 大语言模型 (LLM) 中变得越来越重要,因为它塑造了用户的信任、参与和情感体验。虽然迈尔斯-布里格斯类型指标 (MBTI) 已成为评估 LLM 性格的通用框架,但现有研究主要集中在全精度模型上,并且仅评估最终输出。他们忽视了需要低内存占用的量化 LLM 的广泛部署,其个性特征仍未得到充分探索。在这项工作中,我们对开源 LLM 进行了跨多种精度的系统 MBTI 分析,包括主流 4 位方法(GPTQ、AWQ)和极端 2 位设置(AQLM 变体)。除了输出级评估之外,我们还通过选项级熵和置信差距动态研究个性如何跨层出现,并引入不确定性放大层解码(UALD)来研究推理时解码引起的个性漂移。我们的结果揭示了一个关键的见解:LLM 的个性不是静态属性,而是一种对量化、提示和解码敏感的新兴的、依赖于层的决策过程。具体来说,我们发现 (1) ENFJ 在模型系列和精度方面仍然占主导地位; (2)4位量化很大程度上保留了粗粒度的个性结构,而2位量化则破坏了细粒度的提示一致性和交叉精度一致性; (3) 在早期层存在大量模糊性之后,个性决策出现在上层; (4)推理解码可以改变个性,而个性一致的调节可以提高鲁棒性。这些发现为量化 LLM 的行为可靠性提供了新的视角,并强调了在个性敏感的聊天机器人应用中考虑内部动态和推理策略的重要性。