NVIDIA Cosmos-H-Dreams：手术机器人的实时生成物理模拟

手术机器人的生成模拟仍然缺乏实时交互。物理机器人实验通常涉及动物或尸体实验室，耗时、成本高且难以重现，而经典模拟器则难以捕捉逼真的外观和可变形组织动力学。我们通过 Cosmos-H-Dreams 解决了这一差距，这是一个集成的实时手术世界模型系统，结合了动作条件生成模型、师生 蒸馏 配方以及基于 NVIDIA FlashDreams 流推理库构建的部署堆栈。从 Cosmos-H-Surgical-Simulator（在大规模 Open-H-Embodiment 语料库上进行微调的多实施例动作条件手术视频世界模型）开始，我们根据实施例和程序特定的数据对该检查点进行后训练。通过将产生的双向教师提炼为具有自我强制功能的因果性、几步学生，我们将被动视频生成器转变为可控手术模拟器，在单个 NVIDIA RTX PRO 6000 Blackwell 工作站 GPU 上以 160 美元\sim$160 的推理 FPS 进行流传输。至关重要的是，Cosmos-H-Dreams 与控制器无关：任何发出机器人运动学流的接口都可以驱动它。我们演示了通过 WebRTC 上的浏览​​器键盘、WebXR 上的 Meta Quest 耳机、商业手术机器人控制台（例如 CMR Surgical 的 Versius）进行的实时控制，并学习了在闭环中运行的策略。据我们所知，这是第一个支持活人和政策控制的交互式外科世界模型。人类操作者和政策都可以在合成世界中采取行动并实时观察后果。我们将 Cosmos-H-Dreams 发布为开放式手术模拟系统，为手术教育、可扩展的合成数据生成和未来的术中决策支持提供共同基础。