具有学习的铰接运动约束的单目视频的手术运动学

机器人手术的客观评估使用仪器运动学，当只有视频可用时必须重建仪器运动学。我们引入了一种运动学重建网络，用于根据单目视频估计仪器位置、方向和下颌角度。我们的视觉表示结合了冻结 DINOv3 特征的全局注意力池和来自微调 SAM 3.1 掩模的仪器地标的局部池。我们共享的 Transformer 编码器和时间卷积头将这种表示与来自特定于手臂的多层回归网络的掩模几何、单目深度和视觉状态估计集成在一起。我们的位置分支分别预测位移大小和方向，以保持行驶距离。我们通过可微加权最小二乘法将轨迹拟合到预测状态观测值和运动增量，表达相对于累积预测旋转的四元数观测值以获得二次方位目标。我们评估了 2,802 个 Open-H 片段的重建。与主要 Open-H 基准测试上的 LiveMAE 相比，我们的方法将路径长度平均绝对误差从 0.45 降低到 0.34 cm，并将运动分割的时间平均平均精度从 44.54% 提高到 54.44%。