用于生成冠状动脉 CTA 报告的多中心基准和临床结构化指标

对自动冠状动脉计算机断层扫描血管造影 (CCTA) 报告生成的可靠评估需要标准化的多中心基准和临床结构化指标。我们建立了一个四中心基准，包括来自 818 个患者报告对的 3,021 个 CCTA 系列，以评估七个开源三维视觉语言模型。我们开发了 CSM$_{\text{CCTA}}$，这是一种用于 CCTA 报告评估的临床结构化指标，其中根据临床指南定义了患者、血管和节段级别的变量。报告对在最精细的共享解剖水平上进行比较，不同临床成分的贡献根据专家评估进行加权。我们使用 70 个专家评分的病例估计了这些权重，并在一组不重叠的 30 个病例中评估了临床一致性。 CSM$_{\text{CCTA}}$ 与放射科医师评分显示出很强的相关性（Pearson 的 $r=0.97$，$p<0.001$），超过次优指标 FORTE ($r=0.70$) 0.27，并且在 160 项成对比较中的 115 项中与专家偏好一致 (71.9\%)。在受控扰动下，CSM$_{\text{CCTA}}$ 对临床等效措辞保持稳定，并随着信息逐渐遗漏而单调下降。在多中心基准测试中，经过 CCTA 训练的 C2RG 模型在所有四家医院中获得了最高的 CSM$_{\text{CCTA}}$ 分数，尽管其性能仍远未达到最佳状态。相比之下，与 CCTA 无关的报告占通才模型输出的高达 98.7%。总之，该基准为模型比较提供了标准化设置，而 CSM$_{\text{CCTA}}$ 可以对寻找一致性和解剖特异性进行临床结构化评估。这些结果支持采用更加临床一致和解剖学解析的方法来评估 CCTA 报告生成。代码可在 https://openi.pcl.ac.cn/OpenMedIA/CSM_CCTA 获取。