手术 WAM：用于数据高效手术机器人学习的世界行动模型

学习可靠的手术操作策略因缺乏动作标记的演示而受到瓶颈：具有同步运动学的遥控手术机器人（例如 dVRK）轨迹的收集成本很高，而手术任务需要精确的接触处理、长视野推理和双手协调。相对于同步视频运动学轨迹，内窥镜视频相对便宜且丰富，利用它的自然方法是学习手术场景的世界模型。然而，现有的手术世界模型主要使用视频进行模拟或策略评估，很少将学到的动态转化为闭环控制。这一差距提出了我们的核心问题：在固定预算的动作标记演示下，无动作标注的视频预训练是否可以改善闭环手术操作？为了回答这个问题，我们引入了外科世界动作模型（Surgical WAM），这是一个基于 Cosmos Policy 构建的统一生成模型，可以共同预测未来的内窥镜观察结果和可执行的外科机器人动作块。 Surgical WAM 首先从无动作标注的视频中学习手术视觉动态，然后根据固定的动作标记预算进行微调；在部署时，它充当闭环滚动时域控制器，执行每个预测动作块的短前缀，并根据结果观察重新计划。在一组四个模拟手术操作任务中，视频预训练将平均成功率从 63.5% 提高到 77.8%，其中 PegTransfer 的绝对成功率提高了 20 个百分点，其中在接触丰富和双手任务中的改进最大。这些结果表明，无动作标注的视频为学习具有有限动作监督的手术机器人控制提供了可转移的视觉动态先验，将数据高效的视频预训练定位为扩大手术机器人学习的实用途径。