论文

信任:通过图像到超声视频迁移学习有效识别腹部创伤

TRUST: Efficient Abdominal Trauma Recognition via Image-to-Ultrasound-Video Transfer Learning

模型训练参数高效训练

摘要

腹部超声对于快速、无创的创伤分诊是必不可少的。然而,解释连续扫描中嵌入的微妙动态线索非常耗时且依赖于操作员。参数高效的图像到视频迁移学习(PEIVTL)可有效地将预训练的图像模型适应视频领域,特别是通过视觉文本对齐,为超声视频分析提供了一个有前景的范例。然而,依赖于医生的扫描实践所产生的大量时空和语义变化继续限制了该框架的有效性和普遍性。我们提出了 TRUST,这是一种扫描感知的 PEIVTL 框架,它可以显式地模拟细粒度的时空变化,以实现可靠的超声视频理解。首先,我们引入了一种跨频协作适配器(CFCA),它在低频和高频分量之间建立相互约束,增强严重散斑损坏下的判别性空间特征提取。其次,我们设计了一个多粒度运动感知(MGMA)模块,它将局部时间卷积与运动先验引导的全局自注意力相结合,共同捕获稳定的视图内模式和突然的视图间过渡,以表征复杂的扫描动态。第三,视觉查询语义聚合(VQSA)模块动态生成以视觉特征为条件的文本原型,从而实现在不同扫描条件下对类内变异性具有鲁棒性的自适应视觉文本对齐。对内部超声创伤数据集的实验表明,TRUST 的计算效率比最先进的方法高出 9.63%。