论文
商业人工智能在肺栓塞和偶发性肺栓塞检测中的多站点真实性能
Multi-Site Real-World Performance of Commercial AI for Pulmonary and Incidental Pulmonary Embolism Detection
摘要
肺栓塞 (PE) 是心血管死亡的主要原因,但经 FDA 批准的人工智能检测模型的实际性能仍未完全表征。我们回顾性评估了来自单一商业平台 (Aidoc Medical BriefCase) 的两种经 FDA 批准的 AI 算法,一种用于专用 CT 肺血管造影 (CTPA;n = 30,678) 上的 PE 分类,一种用于常规对比增强 CT (n = 37,191) 上的偶发性 PE (iPE) 检测,涵盖 17 个机构的学术医疗系统。使用经过验证的 LLM 流程从放射学报告中提取参考标准标签(准确度为 97%,kappa = 0.94)。 PE 模型的敏感性为 86.8%,特异性为 99.1%,敏感性从鞍部栓塞的 99.3% 下降到亚段性 PE 的 72.9%,急性 PE 的敏感性从 89.7% 下降到非急性 PE 的 65.3%。 iPE 模型的灵敏度为 73.5%,特异性为 99.8%。这两种模型的灵敏度均低于 FDA 批准的基准,但超过了批准的特异性,外周和非急性栓塞的性能不断下降,反映了已知的人类读者的局限性,并强调了对人工智能医疗设备进行标准化上市后监测的必要性。