EndoGSim：通过 MLLM 引导高斯溅射进行物理感知 4D 动态内窥镜场景模拟

在机器人辅助微创手术中，高保真动态内窥镜场景重建和模拟对于增强下游任务和提高手术效果至关重要。然而，现有方法主要侧重于视觉重建，缺乏真实模拟所需的基于物理的场景描述。我们提出了一个统一的框架，通过多模态 大语言模型 (MLLM) 引导的高斯泼溅实现内窥镜场景的物理感知重建和物理模拟。我们的方法利用 4D 高斯溅射 (4DGS) 与预训练的分割和深度估计相结合来表示可变形的组织和工具。为了实现物理属性的自动推断，我们引入了一个对象方式的材料场，它通过 MLLM 初始化材料参数，并在渲染图像和光流的联合监督下通过可微分材料点方法 (MPM) 对其进行细化。我们的框架在开源和内部数据集上进行了验证，与最先进的方法相比，我们的框架实现了卓越的模拟保真度和物理准确性，强调了其推进机器人辅助手术应用的潜力。