论文
当量化保留准确性但不保留证据时：医学大语言模型的解释感知训练后量化
When Quantization Preserves Accuracy but Not Evidence: Explanation-Aware Post-Training Quantization for Medical LLMs
摘要
训练后量化 (PTQ) 可实现大型语言模型的高效部署，并且 PTQ 方法通常通过通用重建、困惑度或答案准确性进行优化和评估。但在解释关键领域，仅保留最终答案可能是不够的，因为用户还可以检查生成的基本原理来判断预测是否值得信赖。我们在医学多项选择题回答中研究这个问题，其中的基本原理应提供支持所选答案的证据。我们为基于转换的 PTQ 提出了一个解释感知目标。我们的方法根据全精度教师原理构建离线忠实度缓存，并在优化过程中使用它来保留支持答案的证据标记和证据条件的答案行为。我们在 W4A4KV4 量化下在 OSTQuant 上实例化它，并在 MedExQA、MedExpQA 和 ChallengeClinicalQA 上评估四个 7B--8B 医学和指令调整的 LLM。虽然相同校准的 OSTQuant 基线可以保持任务准确性，但它会大大削弱支持答案的基本原理。我们的目标是保留全精度模型的答案支持行为，而不是提高金标签的准确性，并且我们的方法更好地保留了全精度模型的答案行为和基本原理答案支持。这些结果表明，对于解释关键的设置，PTQ 应该评估支持答案的证据的保留，而不仅仅是答案的准确性。代码和评估脚本可从此 https URL 获取。