论文

Recon2Servo:通过学习的图像到运动推理进行机器人超声视觉伺服

Recon2Servo: Robotic Ultrasound Visual Servoing via Learned Image-to-Motion Inference

摘要

超声视觉伺服对于自主超声机器人至关重要,但由于平面外运动线索有限且模糊,从 2D B 模式图像进行 6 自由度探针控制仍然具有挑战性。现有方法通常依赖于解剖学先验或手工制作的视觉特征,限制了它们在成像目标中的普遍性。受无跟踪器 3D 超声重建的启发,我们提出了 Recon2Servo,这是一种视觉伺服框架,可直接从 B 模式图像学习图像到运动推理,以实现 6-DoF 探针控制。具有低秩自适应功能的 DINOv3 编码器和双向关系模块估计当前图像和目标图像之间的相对探针位姿,以指导迭代闭环目标视图对齐。该框架结合了监督相对位姿学习、重建引导的闭环自适应和有界残余位姿校正,以改善伺服过程中的运动推断。对公共数据集和使用不同超声系统从 12 名健康志愿者收集的内部数据集的评估证明了其在重建体积伺服方面的有效性。补充视频中提供了关于人类前臂上的目标视图对齐和动态跟踪的其他真实机器人演示:https://youtu.be/qwsOdI-GMYk.

Recon2Servo:通过学习的图像到运动推理进行机器人超声视觉伺服的原论文方法或结果图
图 1:所提出的超声伺服框架概述。跟踪的 B 模式图像被重建为 3D 体积,作为训练的交互式模拟环境并适应探针控制策略。由此产生的策略使用实时超声图像反馈进行部署,以迭代方式引导探针朝向目标视图。