针对代理 C 臂控制的自主骨骼地标定位

目的：自动 C 形臂定位确保需要紧急干预的患者得到及时治疗。当用于 C 形臂控制的传统深度学习 (DL) 方法失败时，临床医生必须恢复手动操作，从而导致额外的延迟。因此，非常需要基于多模态 大语言模型 (MLLM) 的代理 C 形臂控制框架，因为它可以结合临床医生的反馈并使用推理来进行调整以实现更准确的定位。骨骼标志定位对于 C 臂控制至关重要，我们研究了如何采用 MLLM 进行自主标志定位。方法：我们使用带注释的合成 X 射线数据集和真实 X 射线数据集。两个数据集中的每张 X 射线都与几个骨骼标志配对。我们对两个 MLLM 进行了微调，并要求它们从每张 X 射线中检索最近的地标。对地标定位进行定量评估，并与领先的深度学习方法进行比较。我们进一步进行了定性实验，证明：(1) MLLM 如何通过推理纠正最初不正确的预测，以及 (2) MLLM 如何依次将 C 形臂导航至目标位置。结果：在这两个数据集上，与 DL 方法相比，经过微调的 MLLM 在所有本地化任务中都表现出了具有竞争力的性能。在定性实验中，MLLM 提供了推理和空间意识的证据。结论：这项研究表明，经过微调的 MLLM 可以实现准确的骨骼标志定位，并有望实现代理自主 C 形臂控制。我们的代码位于https://github.com/marszzibros/C-arm-localization-LLM.git