用于深度病变检测、分割和简短报告生成的统一 2D 框架

在之前的工作中，我们使用报告中的简短结果将 大语言模型 (LLM) 集成到基于 ULS23 DeepLesion 数据集的病变分割模型中。在本研究中，我们开发了一个统一的 2D 病变分析框架，该框架集成了基于 LLM 的推理、病变边界框检测、分割和原始 DeepLesion 数据集的放射学报告生成。在测试阶段，我们取得了较高的病灶边界框检测精度，mAP50为70.1%，mAP50-95为46.4%；病灶分割性能，Dice 得分为 62.6%；简短报告生成准确率，BLEU_1 得分为 64.3%，BLEU_4 得分为 49.6%，METEOR 为 34.7%，ROUGE_L 为 60.1%。在这项工作中，我们解决了原始 DeepLesion 数据集中分割的挑战性问题，并比 nnUNet 病变分割模型实现了 28.5% 的 Dice 分数提高。我们还将空间和解剖背景集成到 DeepLesion 简短报告生成中。我们在 Github 上发布了实现、数据集和模型。 https://github.com/ruida/2D_DeepLesion_Foundation