论文

幻觉检测引导的临床总结偏好优化

Hallucination Detection-Guided Preference Optimization for Clinical Summarization

模型训练偏好优化

摘要

大语言模型 (LLM) 在总结任务上表现出了希望,但它们经常产生幻觉,这些幻觉是不受支持或不正确的陈述,限制了它们在专业医疗保健应用中的可靠性。我们引入了幻觉检测引导自我完善(HDSR),这是一种推理时间方法,利用幻觉检测器来指导迭代摘要修订以实现事实更正。在此基础上,我们提出了 HDSR for Preference Learning (HDSR-PL),它将检测器引导的细化轨迹转换为用于模型微调的偏好对。大量实验表明,我们的方法大大减少了 Llama 和 Gemma 模型在总结 MIMIC-IV-Note v2.2 的真实世界临床记录时的幻觉。例如,在 Llama-3.1-8B-Instruct 中,HDSR 减少了 24%,HDSR-PL 减少了 48%。重要的是,根据人类专家和 LLM 评审团的评估,这两种方法都保持了摘要的流畅性、连贯性和相关性。总之,这些结果表明,基于检测的细化和偏好学习为改进临床总结中的事实 忠实性 提供了一种自动化解决方案。