论文
SPARC-Rad：放射学视觉语言模型中空间和解剖推理的多模态基准数据集和评估管道
SPARC-Rad: A Multimodal Benchmark Dataset and Evaluation Pipeline for Spatial and Anatomical Reasoning in Radiology Vision-Language Models
摘要
视觉语言模型 (VLM) 越来越多地被评估用于医学成像，但许多可用的基准强调疾病分类、报告生成或广泛的视觉问题回答，而不是放射学所需的空间和解剖推理。我们开发了临床放射学中的空间感知和解剖推理 (SPARC-Rad) 基准，这是一个手动策划的多模式基准数据集和评估管道，用于评估放射学 VLM 中的这些功能。 SPARC-Rad 包括 300 个图像问题对，这些图像问题对源自癌症成像档案 (TCIA) 中的健康对照成像研究，涵盖腹部、胸部、乳房、神经和肌肉骨骼类别的 CT、MRI 和放射线摄影。放射学学员手动设计和注释问题来评估解剖识别、定位、偏侧性、区域识别、设备识别和结构间空间关系。评估管道支持标准化提示、结构化输出收集、响应标准化、LLM 作为法官评分、人工质量审查、二元正确性评分以及按模态、解剖和推理类型进行的亚组分析。 SPARC-Rad 提供了一个可重用框架，用于评估 VLM 是否可以作为空间系统提供放射解剖学推理，支持未来的模型开发、故障模式分析和部署前评估。