EndoLIFT：用于双向内窥镜控制的语言消除歧义的潜在条件整流流

常规胃肠内窥镜检查本质上是双向的：仪器前进以到达目标解剖结构，然后撤回或后屈进行检查，而外部提示可能需要提前逆转。当所请求的相位在视觉场景之前发生变化时，几乎相同的观察可能需要相反的轴向动作。我们将双向内窥镜控制中的这种模糊性识别并形式化为意图混叠。我们提出了 EndoLIFT（带有潜在轨迹的内窥镜语言指令流），这是一种视觉语言动作策略，它将基于语言的显式意图调节与潜在条件矫正流动作专家相结合。该策略接收 RGB、语言指令和先前操作状态； 32-D 变分轨迹潜在随机条件连续动作块的生成。受控的相同观察指令交换确定语言选择轴向模式，与潜在轨迹是否存在无关。相对于没有潜在条件作用的匹配模型，EndoLIFT 将导航方向精度提高了 11.1 个百分点，并将错误方向提前减少了 83%。架构控制的 1 位模式标志参考表现出较弱的规范锚点切换，而 EndoLIFT 在 44 种保留的语言变体中保留了 82.8% 的意图跟踪准确度。在闭环评估中，在可见的结肠模型和看不见的肺和胃模型上，EndoLIFT 比不带 VTL 的 EndoLIFT 提高了 30 个百分点的总体成功率，并完成了 10/10 离体猪气管试验。这些结果将基于语言的意图选择与潜在轨迹对方向正确性和稳健回缩的贡献分开。