论文
CARE:医疗总结的保形安全层
CARE: A Conformal Safety Layer for Medical Summarization
摘要
大语言模型 (LLM) 越来越多地用于医学摘要,但它们的输出可能会忽略医学上的重要信息并引入不受支持的声明。现有的错误检测方法会产生启发式或未校准的分数,无法对遗漏的错误提供正式的控制,也没有原则性的方法来权衡安全性与临床医生审查负担。我们引入了风险评估的保形评估 (CARE),这是一个事后、与模型无关的安全层,它使用保形风险控制将校准的遗漏和幻觉标志覆盖到任何 LLM 的摘要上,而无需重新训练。 CARE 通过两个控制器提供有限样本、无分布保证:幻觉控制器限制包含任何未标记的幻觉句子的文档的概率,以及遗漏控制器限制未出现供审查的重要遗漏的预期比例。与幻觉检测不同,遗漏共同取决于源句子是否重要以及摘要是否涵盖它。我们表明,仅校准一个维度可能会违反目标风险界限,而边际分解仍然有效,但过于保守。通过在整个 $(τ,γ)$ 阈值空间上联合校准,CARE 保留了形式保证,同时比其他校准基线少显示最多 5$\times$ 的句子。在五项医学总结任务中,CARE 在 100 次校准/测试重新划分中以 95% 的置信度满足 $α= 0.15$ 的目标风险界限,每个域仅使用约 100 个标记文档。在一项初步临床研究(75 份文件审查)中,校准标记将遗漏检测平均提高了 28.6 个百分点。这些结果表明,句子级安全保证对于 LLM 辅助医学摘要是可行的,并为平衡剩余风险和审查工作提供了可调节的机制。