论文

Harrison.Rad 1.5 技术报告:放射学基础模型,可以根据图像、先验和临床背景起草报告

Harrison.Rad 1.5 Technical Report: A radiology foundation model that can draft reports from images, priors and clinical context

应用与实践行业应用

摘要

影像需求的增长速度超过了放射科人员的扩张速度,报告积压问题无法仅通过训练和招聘来解决。最直接的机会是减少放射科医生花费在制作报告上的时间和精力,这项任务需要解释图像、整合临床病史和先前的研究以及起草结构化的结果。我们推出了 Harrison.Rad 1.5 (HR1.5),这是一种放射学专用的多模式 大语言模型,它接受交错的文本和视觉输入,并在平片放射学中生成结构化和非结构化文本,涵盖计算机放射成像、胸部、肌肉骨骼、腹部、脊柱和骨盆 X 射线以及乳房 X 光检查。 HR1.5 通过三阶段管道进行训练:放射学报告上基本语言模型的领域适应、对约 600 万图像报告实例进行基于课程的硬底片的对比视觉编码器训练,以及多轮对话上的视觉问答 微调。我们使用Findings-Diagnosis评分框架对其进行评估,该框架通过基于本体的同义词匹配和极性矛盾检测扩展了RadGraph-XL实体提取,以RadBench为基准,RadBench是根据Angoff方法阈值、ReXGradient和内部多模态数据集进行评分的模拟FRCR 2B Short Case检查。 HR1.5 是唯一经过评估以满足模拟 FRCR 通过标准的系统,并且在封闭式临床问题、跨解剖区域、内部多身体部位和乳房 X 线摄影报告以及公共胸部报告的主要临床对齐评分上实现了最高的准确性。我们进一步检查可解释性和模型行为,包括问题敏感的 Grad-CAM 热图、注意力分析和置信度估计,以支持未来对临床使用进行负责任的评估,以及基于临床的报告质量评估框架。