论文
ConfTriage:用于肺结节恶性肿瘤的校准感知 LLM 分诊框架,具有选择性专家延期
ConfTriage: A Calibration-Aware LLM Triage Framework for Pulmonary Nodule Malignancy with Selective Specialist Deferral
摘要
肺结节恶性肿瘤预测通常取决于经过图像训练的专业深度学习 (DL) 模型,该模型需要大量带注释的成像数据和特定于任务的训练。我们研究了仅读取标准结节属性的忠实自然语言呈现的通才 大语言模型 (LLM) 是否可以充当校准的分类层。我们提出了 ConfTriage,这是一种基于三个支柱的置信度校准方法:作为模态的语言、作为安全机制的校准以及针对低置信度案例的选择性专业深度学习支持。我们证明了两个保证:有限样本组合误差界限产生明确的每阈值操作证书,以及预言机不等式,表明贝叶斯最优延迟分类器的超额风险由 LLM 概率的 L1 校准误差控制。 LIDC-IDRI 上跨越五个前沿 LLM 的受控七路输入消融表明,自然语言描述在诊断信号中占主导地位,而底层图像统计在诊断上基本上是空洞的。 ConfTriage 的 F1 分数为 88.22%,AUC 为 0.92,仅使用零样本 LLM 推理就解决了 76.5% 的案例,并且仅将不确定的案例转交给专业的 DL backstop。这些结果表明,可以通过结构化放射学描述捕获具有临床意义的诊断信息,并通过校准的 LLM 进行选择性转诊。该框架提出了一种将通才 LLM 预测与医疗决策支持系统中的专业人工智能模型相结合的实用途径。源代码可在 https://github.com/rabiul-ai/ConfTriage 上公开获取。