使用基于世界建模和检索的行动规划来指导超声操作员

摘要

超声波应用广泛，但采集质量在很大程度上取决于操作员的知识和专业知识。由于检查需求超过了训练有素的超声检查人员的供应，操作员指导系统旨在通过指导训练较少的用户如何将探针移向目标视图来缩小这一差距。在本文中，我们提出了一种用于超声采集动态的检索引起的潜在转换模型，将超声操作员指导制定为世界模型中的多步骤规划和检索。使用 V-JEPA 2.1 骨干模型，观察结果首先被编码到潜空间中，其中解剖学相关的视图紧密相连。然后，我们从包含编码的潜在状态和相应的探针位置和方向的参考数据库中检索类似的视图。我们没有学习参数转换函数，而是直接使用数据库中物理执行的转换来建立支持后退规划的非参数、检索引起的转换模型。部署时，仅根据实时超声图像馈送生成引导，无需任何探针跟踪硬件。应用于颈动脉超声时，所提出的规划器在 86% 的回顾性闭环发作中达到目标视图，而代表性基线的这一比例为 52% 和 43%，在每个目标视图上都表现出色，包括具有挑战性的纵向内颈动脉和外颈动脉视图。一项针对看不见的志愿者的前瞻性可行性研究，使用蒸馏在 CPU 上实时运行，达到了 83% 的目标视图可达性。由于规划是由接近任何可编码的潜在目标驱动的，因此相同的世界模型可以导航回任何先前获取的特定于患者的框架，支持可重复的纵向成像，例如：围手术期或随访监测。

使用基于世界建模和检索的行动规划来指导超声操作员的原论文方法或结果图 — 图 2：潜空间中超声世界模型和规划的视觉概览。 A）纯粹基于视觉超声帧，使用学习编码器 $f_{\theta}$ 将训练序列编码为潜在状态；每个训练帧还具有地面实况记录姿势，用于计算训练帧之间的动作。 B) 实时成像序列使用相同的编码器 $f_{\theta}$ 进行编码。然后通过在检索跳跃和轨迹内跳跃之间交替来对许多候选轨迹进行随机采样。检索跳对当前潜在状态的顶部 $K$ 最近邻居进行采样，以创建锚点 $z^{(h)}$。然后，轨迹内跳跃遵循训练序列，从锚点 $z^{(h)}$ 到 $\bar{z}^{(h)}$ 向前或向后，产生记录的动作 $a^{(h)}$。在这里，我们展示了采样轨迹的一个示例。从所有生成的轨迹中，选择成本最低的轨迹，并将其第一个动作传达给用户。