论文

Surg$\Sigma$:大规模多模态数据谱和外科智能基础模型

Surg$\Sigma$: A Spectrum of Large-Scale Multimodal Data and Foundation Models for Surgical Intelligence

模型训练监督微调与指令调优

摘要

外科智能有潜力提升外科诊疗的安全性与一致性,但现有大多数外科 AI 框架仍局限于特定任务,难以跨术式与跨机构泛化。尽管多模态基础模型,尤其是多模态大语言模型,已在多个医学领域展现出强大的跨任务能力,其在手术领域的发展仍受制于大规模、系统化整理的多模态数据的缺乏。为应对这一挑战,我们提出 SurgΣ——面向外科智能的大规模多模态数据与基础模型谱系。该框架的核心是 SurgΣ-DB,一个旨在支持多样化外科任务的大规模多模态数据基础。SurgΣ-DB 将异构外科数据源(包括开源数据集、整理的院内临床集与网络来源数据)整合进统一模式,旨在提升跨异构数据集的标签一致性与数据标准化。SurgΣ-DB 覆盖 6 个临床专科与多样术式,围绕涵盖理解、推理、规划与生成的 18 项实用外科任务提供丰富的图像级与视频级标注,规模前所未有(超过 598 万段对话)。除常规多模态对话外,SurgΣ-DB 还纳入层级化推理标注,提供更丰富的语义线索,以支持复杂手术场景中更深层的上下文理解。我们进而通过基于 SurgΣ-DB 构建的新近外科基础模型提供实证证据,说明大规模多模态标注、统一语义设计与结构化推理标注对提升跨任务泛化与可解释性的实际益处。

SurgΣ:面向外科智能的大规模多模态数据与基础模型谱系:论文配图
图1:SurgΣ-DB总体概览:面向外科智能的大规模多模态数据基座,为外科基础模型提供支撑。