SIRA：通过查询锚定对齐进行推理感知手术器械分割

手术器械分割（SIS）在机器人辅助和手术工作流程分析中发挥着关键作用。然而，大多数现有的 SIS 方法将分割表述为类别驱动的定位问题，限制了它们在手术工作流程中捕获程序上下文和任务相关语义的能力。我们引入了推理感知手术器械分割（RA-SIS），这是一种任务表述，它将分割框架为手术环境下的查询条件推理。为了对这一设置进行基准测试，我们构建了 SurgRS，这是一个由 41,000 个图像文本对组成的手术推理分割数据集，它将实例级掩码与结构化查询答案监督对齐，以实现像素级的语义基础。基于 SurgRS，我们提出了手术器械推理和分割助手（SIRA），这是一个多模态框架，可以解开目标级和查询级语义，并通过查询锚定的双重对齐将它们与视觉特征集成。通过将查询语义与空间特征和分割提示对齐，SIRA 增强了掩模预测中的语义视觉一致性。 SurgRS 上的大量实验证明了对现有推理感知基线的改进。代码可从此 https URL 获取。