SurgOnAir：具有层次结构意识的实时手术视频评论

实时了解手术工作流程是智能手术实施的基础，其中人工智能系统随着手术的进行不断感知和响应。在手术室中，关键决策取决于微妙的、即时的变化，例如精细的器械运动和不断变化的组织状态，即使是轻微的感知延迟也会限制援助或危及安全。然而，现有的方法仍然离线或在粗略的时间尺度上运行，仅在处理剪辑后生成描述，从而无法立即做出反应。我们通过提出 SurgOnAir 来解决这个问题，这是一种流式视觉语言模型，可以顺序处理帧而无需将来访问，并在视觉输入到达时逐步生成叙述标记。 SurgOnAir 实现了细粒度的帧到词元生成，从而能够对不断变化的手术动态做出即时响应。该模型基于我们精心策划的涵盖动作、步骤和阶段级监督的分层数据集 SurgOnAir-11k 构建，经过训练可生成反映外科手术固有层次结构的多级文本响应。此外，还会生成特殊的转换词元来明确标记状态更改，从而允许 SurgOnAir 在关键工作流程转换发生时捕获并发出信号。实验表明，SurgOnAir 通过单一视觉语言模型实现实时理解，该模型统一了手术工作流程的多个层次结构中的流，从而生成高级且具有层次结构意识的叙述。代码和数据集将公开。