论文
波斯语医疗LLM的单次声明级幻觉不确定性头
Single-Pass Uncertainty Heads for Claim-Level Hallucination Detection in Persian Medical Language Models
摘要
医疗语言模型尤其需要幻觉检测，但重复采样成本高，已有不确定性头资源不能直接迁移到新骨干与语言。我们将LLM Uncertainty Head（LUH）框架适应到基于Aya-Expanse-8B的波斯语医疗模型，使用此前开发的Gaokerena-V和Gaokerena-R。首先，在168道伊朗医学入学考试题上检查回复变化，发现Gaokerena-V的五次运行一致性明显低于Aya-Expanse-8B，而Gaokerena-R相近。然后直接构建两组配对波斯语声明级幻觉数据，每个骨干1600条回复，并在冻结骨干的注意力图和token概率上训练轻量声明级头。留出测试集的PR-AUC分别为0.4820和0.4652，是对应随机基线的2.30和2.66倍；ROC-AUC为0.7852和0.7810。推断不需要检索或重复采样。这是波斯语医疗模型单次声明级不确定性估计的初步研究，测试集小且标签自动生成。