论文

ALTER:通过区域差异对纵向变化进行建模以生成 3D CT 报告

ALTER: Modeling Longitudinal Changes via Regional Differencing for 3D CT Report Generation

上下文与知识上下文工程

摘要

计算机断层扫描 (CT) 广泛用于临床诊断和纵向随访,但从三维 (3D) CT 自动生成准确且完整的放射学报告仍然具有挑战性。现有方法通过对解剖区域进行建模来改善图像和文本之间的细粒度对应关系,但仍以当前检查为中心。因此,各个区域内患者特定的纵向变化仍然没有充分建模。同时,间隔变化通常分布在多个解剖区域,使整体纵向状态的连贯评估变得复杂。我们提出解剖局部时间证据表示(ALTER)来解决这些限制。全局先验整合 (GPI) 结合了先前的 CT 和报告,为当前检查建立历史背景。区域代理差分 (RPD) 使每个当前解剖区域能够从先前体积的单个共享编码中检索历史代理,并得出局部区间证据。间隔变化融合(ICF)进一步将当前的异常状态与区域分布的差异结合起来,将它们的联合表示转换为指导报告生成的变化感知软提示。 ALTER 在 RadGenome-ChestCT 验证和 CTRG-Chest-548K 测试集的大多数评估指标上取得了最先进的结果。代码和数据预处理详细信息可在 https://github.com/peytonkarlie/ALTER/tree/main 获取。