论文

了解重要的事情:用于生成胸部 X 射线报告的病变感知高分辨率斑块发现和融合

Seeing What Matters: Lesion-Aware High-Resolution Patch Discovery and Fusion for Chest X-ray Report Generation

上下文与知识上下文工程

摘要

尽管胸部 X 射线 (CXR) 基础模型取得了快速进步,但由于预训练视觉编码器的固定视觉 词元预算,大多数放射学报告生成 (RRG) 系统仍然依赖于大量下采样输入(例如 256x256),抑制了原始分辨率图像中存在的微妙但临床上重要的线索。然而,实现高分辨率(high-res)感知仍然具有挑战性:朴素的平铺会导致令人望而却步的标记膨胀,而全局压缩会抑制细微的病变并降低诊断保真度。受到放射科医生工作流程的启发,在详细的高分辨率评估之前定位可疑区域。我们提出用于胸部 X 射线报告的病变感知高分辨率补丁发现和融合 (LePaX),这是第一个 RRG 框架,可在不增加视觉词元计数的情况下实现高效的高分辨率 CXR 感知(高达 1920x1920)。 LePaX 将高分辨率感知表述为固定 词元预算 下的受限空间分辨率分配问题,并引入了两个关键组件:可学习空间分辨率分配(LSRA),它学习空间效用图,自适应地将有限的高分辨率容量分配给诊断相关区域,从而能够从本地 CXR 中有针对性地提取高分辨率补丁; Global-Regional Fusion (GRF),它通过空间对齐的分辨率写回将高分辨率区域证据投影回全局特征网格,从而执行词元保留区域到全局的细化,从而避免词元膨胀。多个 CXR 基准测试表明,LePaX 持续改进临床和语言指标,同时实现原始分辨率 CXR 感知,视觉标记比原始高分辨率平铺少 10 倍以上。