从仪器安装演示到体内执行：无需机器人收集演示即可学习双手腹腔镜阑尾切除术

大多数微创手术仍然使用手持式腹腔镜器械进行，手术结束时外科医生的器械运动学信息就会丢失；仅保留内窥镜视频。本文提出了一种端到端的管道，可以捕获手术室中的这种运动，并用它来训练手术机器人策略，并在活体动物上进行验证。我们推出了一种手术器械状态记录器，它安装在标准腹腔镜器械的轴上，并通过惯性传感器、飞行时间传感器和霍尔传感器恢复其姿态和下颌状态，无需外部摄像头或跟踪器。数据管道根据机器人地面实况测量每个传感器通道的延迟，并在形成观察-动作对之前对齐通道。在这些演示中，我们使用微调的 DINOv3 主干来训练扩散策略，通过在根据离体兔子阑尾深度图重建的物理模拟器中闭环执行轨迹来选择其设计。然后，该政策在 4 只活兔子的 849 次体内演示中进行了重新训练，并部署在另外 4 只配备电外科手术的活兔子上。随着外科医生选择手术阶段，该政策完成了四只动物中三只的阑尾切除术。结果表明，外科医生自己的仪器记录的演示足以在体内训练、选择和部署双手手术策略。机器人仅作为传感器标定的时序参考和执行器，不采集演示。两个演示语料库的发布都是为了支持未来的手术机器人学习研究。