论文
EchoVQA:为护理点心脏超声提供对话协助
EchoVQA: Enabling Conversational Assistance for Point-of-Care Cardiac Ultrasound
摘要
护理点经胸超声心动图 (TTE) 几乎可以在任何临床环境中进行心脏评估,但其诊断效用仍然受到图像采集和解释所需专业知识的限制。视觉问答 (VQA) 为通过交互式临床协助弥合这种专业知识差距提供了一种有前途的范例,但现有的超声心动图 VQA 数据集规模有限,仅限于高质量图像,并且仅涵盖少数视图。我们推出了 EchoVQA,这是第一个用于超声心动图的大规模 VQA 数据集,包含 14,299 张图像和 74,819 个问答对。该数据集将公共来源(EchoNet-Dynamic、CAMUS)与我们自己从两个手持式探头(Lumify、Clarius)获取的护理点数据集成在一起,涵盖不同的视图,包括高质量和次优图像。独特的是,EchoVQA 包括采集指导问题,可帮助用户优化换能器定位,以实现左心室射血分数估计的诊断心尖 4 腔视图,这对于护理点环境中的新手操作员来说是一项具有挑战性的任务。我们进一步开发了一种基于多模态可学习提示的参数高效方法,在大多数基准(包括 EchoVQA)上实现了最先进的性能,其可训练参数比现有最先进的方法要少得多。