EchoAgent：用“眼睛”、“手”和“思想”实现可靠的超声心动图解释

超声心动图（Echo）的可靠解读对于评估心功能至关重要，这需要临床医生同步协调多种能力，包括视觉观察（眼睛）、手动测量（手）以及专业知识学习和推理（头脑）。虽然当前特定任务的深度学习方法和多模态 大语言模型 已证明在通过自动分割或推理协助 Echo 分析方面具有前景，但它们仍然专注于有限的技能，即眼手或眼脑，从而限制了临床可靠性和实用性。为了解决这些问题，我们提出了 EchoAgent，这是一种专为端到端 Echo 解释而定制的代理系统，它实现了完全协调的眼-手-心工作流程，可以像心脏超声检查员一样学习、观察、操作和推理。首先，我们引入了一个专业知识驱动的认知引擎，我们的代理可以自动将可信的 Echo 指南吸收到结构化的知识库中，从而构建 Echo 定制的思维。其次，我们设计了一个分层协作工具包，为 EchoAgent 赋予“眼手”，它可以自动解析 Echo 视频流、识别心脏视图、执行解剖分割和定量测量。第三，我们将感知到的多模态证据与专有知识库整合到精心策划的推理中心中，以进行可解释的推论。我们在 CAMUS 和 MIMIC-EchoQA 数据集上评估 EchoAgent，这些数据集涵盖了跨越 14 个心脏解剖区域的 48 个不同的超声心动图视图。实验结果表明，EchoAgent 在各种结构分析中均实现了最佳性能，总体准确率高达 80.00%。重要的是，EchoAgent 使单个系统能够像超声心动科医生一样学习、观察、操作和推理，这为可靠的 Echo 解读带来了巨大希望。