论文
理清心理健康中幻觉和遗漏的提示元素水平风险因素 LLM 响应
Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses
摘要
心理健康问题经常在临床环境之外表达，包括在高度困境寻求帮助时，可能需要安全关键的指导。消费者健康信息学系统越来越多地采用 大语言模型 (LLM) 来回答心理健康问题，但许多评估不足以代表叙述性、高压力的询问。我们引入了 UCO（User、Topic、Context、Tone），这是一个提示构建框架，它将查询表示为系统压力测试的四个可控元素。使用 2,075 个 UCO 生成的提示，我们评估了 Llama 3.3 并注释了幻觉（捏造或不正确的临床内容）和遗漏（缺少临床必要或安全关键的指导）。 6.5%的回答出现幻觉，13.2%的人遗漏，遗漏集中在危机和自杀意念提示上。在回归、特定元素匹配和相似性匹配比较中，失败与上下文和语气最一致，而用户背景指标在平衡后没有显示系统差异。这些发现支持将评估遗漏作为主要安全结果，并超越静态基准问题集。