论文

DBT-Bleed:用于手术出血检测的具有关键帧选择的双分支时间建模

DBT-Bleed: Dual-Branch Temporal Modeling with Key-Frame Selection for Surgical Bleeding Detection

应用与实践行业应用

摘要

术中不良事件 (IAE) 检测对于提高手术安全性至关重要,出血是许多手术类型中最常见的事件之一。由于时间推理有限,现有方法很难区分出血的 IAE 和视觉上相似的残留血液。此外,在保持细粒度时间动态的同时对长手术视频进行建模在计算上仍然具有挑战性。我们提出了 DBT-Bleed,一种双分支多尺度时间建模框架,使用分层时间适配器来解开出血和正常表示的短期和长期出血进展。为了在不牺牲细粒度时间信息的情况下有效处理长手术视频,我们引入了 HiRED,这是一种分层熵驱动的帧选择策略,可保留时间信息片段,同时消除冗余。 MultiBypass 数据集上的实验表明,出血 IAE 检测的 F1 值提高了 6.53%,召回率提高了 5.62%,MCC 值提高了 9%,始终优于视频级基线。此外,我们还评估了来自不同外科手术类型的新整理数据集的跨手术泛化,其中 DBT-Bleed 在零样本设置下在 F1 中实现了 6% 的增益,在 MCC 中实现了 8% 的增益,展示了强大的可转移性。为了支持这一评估,我们引入了 EndoPit-IAE,这是一个针对 IAE 注释的鼻内垂体手术数据集,代表了神经外科领域第一个 IAE 注释的数据集。代码将在接受后公开发布。