论文
MicroHookACT:用于灵活微电极挂钩的单目显微视觉引导视觉运动策略
MicroHookACT: Monocular Microscopic Vision Guided Visuomotor Policy for Flexible Microelectrode Hooking
摘要
自动针环挂钩是柔性微电极(FME)植入的关键步骤。本文提出了 MicroHookACT,一种基于模仿学习的视觉运动策略,用于单目显微视觉下的自动 3D 挂钩。首先,单向挂钩策略利用散焦线索和光轴引导来实现无触诊的精确对准和接触丰富的螺纹。其次,建立在冷冻 ViT 主干上的动作监督对象注意力模块可以直接从人类演示中学习关注微针尖端和微循环,而不需要手动视觉注释进行训练。第三,以注意力为中心的全局粗略和局部精细特征根据预测的动作进度动态加权,使单个 ACT 策略能够适应整个操作过程中不断变化的散焦模糊和视觉要求。在实验中,视觉运动策略接受了 60 次人体演示的训练,并在具有不同难度的五种设置下进行了评估。我们的 MicroHookACT 框架实现了 96.7% 的最高总体成功率,平均执行时间为 11.5 秒。这些结果证明了视觉运动策略学习在不同操作条件下进行微米级控制的潜力。