论文
SurgCoT:通过思想链基准推进手术视频中的时空推理
SurgCoT: Advancing Spatiotemporal Reasoning in Surgical Videos through a Chain-of-Thought Benchmark
摘要
手术视频的细粒度时空推理至关重要,但多模态 大语言模型 (MLLM) 在该领域的功能在很大程度上仍未得到探索。为了弥补这一差距,我们引入了 SurgCoT,这是一个统一基准,用于评估 7 个外科专业和 35 种不同手术中 MLLM 的思想链 (CoT) 推理。 SurgCoT 通过具有强化注释协议(问题-选项-知识-线索-答案)的结构化 CoT 框架来评估五个核心推理维度:因果动作排序、线索-动作对齐、可供性映射、微转换定位和异常发生跟踪,其中知识字段提供必要的背景上下文,线索提供明确的时空证据。对 10 个领先 MLLM 的评估表明:1)商业模型优于开源和医疗专用变体; 2)手术CoT推理存在显着差距; 3) SurgCoT 可实现有效评估并增强渐进式时空推理。 SurgCoT 提供了一个可重复的测试平台,以缩小 MLLM 功能与临床推理需求之间的差距。代码:https://github.com/CVI-SZU/SurgCoT。