论文

迈向实时视频问诊的专家级医疗AI

Towards Expert-level Medical AI for Real-time Video Consultations

Mahvish Nagda; Jihyeon Lee; Matthew Thompson; Chunjong Park; Tim Strother; Valentin Liévin; Roma Ruparel; Akshay Goel; Teya Bergamaschi; Suhana Bedi; Meet Shah; Pavel Dubov; Liviu Panait; Toshiyuki Fukuzawa; Sam Schmidgall; Craig Schiff; Joseph Xu; Aliya Rysbek; Yana Lunts; Jan Freyberg; Rebecca Hemengway; Sunny Virmani; David Racz; Carey Radebaugh; Joëlle Barral; Kavi Goel; Dale R. Webster; Katherine Chou; Avinatan Hassidim; Yossi Matias; James Manyika; Gregory Wayne; Tao Tu; Yun Liu; Ethan Goh; Christina Chen; Ryutaro Tanno; Po-Hsuan Cameron Chen; Mike Schaekermann; Anil Palepu来源日期：2026.08.10

应用与实践行业应用

摘要

音视频交互是医患问诊的标准形式，它通过非语言线索实现自然沟通和对疾病的有效评估。尽管基于文本的AI已展现前景，但它丢弃了关键的感知维度，也限制了无法用文字清楚描述症状的患者。将医疗AI扩展到音视频交互的早期努力证明了可行性，但尚未达到临床医生水平的表现。本文首次展示了专家级AI在实时临床视频问诊中的应用，使用的是视频配置下的AMIE（Articulate Medical Intelligence Explorer）。AMIE (Video)是一个基于Gemini的多智能体系统，集成了低延迟对话、临床推理和实时音视频感知。为指导开发，我们建立了远程医疗场景中临床音视频线索的分类体系与自动化评估。在一项包含30名初级保健医生（PCP）、15名患者演员和100个临床场景的随机客观结构化临床考试（OSCE）研究中，我们比较了AMIE (Video)、其纯文本版本AMIE (Text)以及通过视频问诊的PCP。临床评估者认为AMIE (Video)在病史采集、诊断、处理方案以及体格观察与检查方面与PCP相当或更好。患者演员更喜欢AMIE评估和解释病情的方式，而在建立融洽与伙伴关系方面则更偏好PCP。在模态消融中，患者演员在沟通有效性、便利性和被理解感方面更偏好AMIE (Video)界面而非文本聊天。在精细解剖精度、细微情感差异和高频动作方面仍存在局限。尽管走向真实应用前还需进一步研究，这些结果标志着向能够在临床实践多感官复杂性中增强医疗的AI系统迈出了重要里程碑。

迈向实时视频问诊的专家级医疗AI：论文配图 — 图1：贡献概览。本工作首次展示了实时临床视频问诊中的专家级AI表现，这得益于三项关键贡献：(A) AMIE (Video)，一个基于Gemini的异步多智能体架构，由Talker、Planner和Perception智能体组成，并由从临床视听能力分类法导出的自动化评估框架引导；(B) 一项多臂随机化、基于视频的OSCE，在由职业患者演员演绎的100个临床场景上比较AMIE (Video)、AMIE (Text)与PCPs (Video)，并由独立临床评估者使用标准OSCE标准和病例专属评分细则进行评估；(C) 临床评估者认为AMIE (Video)在核心临床能力上与PCPs相当或更优，且患者演员更偏好视频界面而非文本聊天。