论文

SurgVista:具有合理器械组织动力学的长视野外科世界建模

SurgVista: Long-Horizon Surgical World Modeling with Plausible Instrument-Tissue Dynamics

模型训练预训练

摘要

扩展自主手术的机器人策略学习具有挑战性,因为专家演示成本高昂,而且体内探索会带来巨大的安全风险。外科世界模型通过从初始观察中生成现实的、以动作为条件的未来框架来解决这个问题,但现有的方法表现出两种持续的失败模式:空间交互不相干,其中可见的仪器接触无法引起空间一致的组织变形,以及时间保真度崩溃,其中预测误差在自回归轨迹生成和逐渐恶化的视觉质量中复合。我们推出了 SurgVista,这是一种外科手术世界模型,可以通过两种训练方案来减轻这两种失败。变形一致性正则化从训练视频中提取场景点轨迹,并通过潜在对比学习增强跨帧连贯性,从而加强物理上一致的器械组织动力学。漂移适应训练通过使用在线预测残差和校准到长视野漂移统计数据的光度增强来扰乱调节帧,从而减轻长视野漂移,从而在扩展时保持视觉保真度。为了实现严格的评估,我们进一步引入了 SurgWorld-Bench,其具有多种手术类型、长距离推广以及仪器运动准确性和组织响应保真度的解耦指标。大量实验表明,SurgVista 在视觉质量、时间一致性和交互保真度方面始终优于最先进的方法,并且随着预测范围的增长,收益也会扩大。