论文

PerFact:用感知事实辅助生成三维脑MRI报告

PerFact: Perception-Derived Fact Prompting for 3D Brain MRI Report Generation

上下文与知识上下文工程

摘要

放射报告生成研究主要在二维胸片上成熟,常以扩大基础模型或医学预训练改善质量。本文在三维多序列脑MRI中重检这一假设:零样本医学与放射视觉语言模型迁移较差,胸片专用模型尤为明显;三个家族、规模相差一个数量级的五个模型,在相同微调下差距却较小。关键是提示中提供的信息。PerFact把感知交给上游三维分割与分类,将输出写成结构化事实句,再指导LoRA适配的视觉语言模型。控制模型、数据划分、目标报告及适配方式,只改变提供的信息来源,感知事实优于旧报告检索;已有事实时检索不再带来额外作用,推理阶段无需真实标注的预测事实也有效。预测事实与真实事实之间的剩余差距,主要来自事实粒度而非生成器。附加封闭式视觉问答没有明显损害报告质量,但其表现对事实来源不敏感。在该三维脑MRI设置中,有依据的事实信息是报告质量的主要可控因素。