论文
学习纵向胸部 X 射线分析的定向语义转换
Learning Directional Semantic Transitions for Longitudinal Chest X-ray Analysis
摘要
胸部 X 光 (CXR) 解读通常需要纵向比较来评估疾病进展。现有方法通常依赖于时间特征融合或研究间差异建模，但在捕获微妙的进展语义方面仍然有限，并且忽视了疾病轨迹的固有方向性。在本文中，我们提出了 ProTrans，这是一种新颖的视觉语言预训练框架，它将疾病进展表述为配对 CXR 研究之间的定向语义转换。 ProTrans 利用放射学报告将个体 CXR 表示锚定在可解释的疾病状态中，并引入可学习的进展特征图来显式编码状态之间的语义变化，与报告派生的进展描述保持一致。为了加强方向感知感知，ProTrans 结合了反向时间建模过程，并在状态和转换之间施加双向重建一致性，从而解开方向语义并促进连贯的轨迹建模。对纵向下游任务（包括疾病进展分类和进展字幕）的广泛实验表明，ProTrans 始终优于现有方法，为纵向 CXR 理解建立了统一的预训练框架。 https://github.com/RPIDIAL/ProTrans