论文
反向探测：临床文本中 大语言模型 的监督 词元级 不确定性量化
Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text
摘要
随着 大语言模型 越来越多地应用于临床文本，确保它们能够可靠地表示自己的不确定性变得至关重要。大多数现有的不确定性量化（UQ）方法都是为开放域生成而设计的，无法在长临床文本中定位标记或跨度级别的不确定性。我们提出反向探测，这是第一个专门用于临床总结的昆士兰大学框架，它直接从预先存在的标记总结中估计 词元级 不确定性。反向探测不是对新输出进行采样，而是将文本视为对模型内部状态的探测，从四类内部激活中提取不确定性信号。我们对两个专家注释的临床数据集进行评估，并在所有指标上优于八个改编基线，实现了高达 4 倍的 AUPRC，同时减少了推理时间和计算成本。特征分析表明，三角洲能量和邻里环境是所有模型中最一致的预测因子。这项研究提供了关于模型如何内部响应不受支持的临床内容的可解释的见解。