迈向细粒度对象操作：SAM3 引导的视觉运动策略，具有持久记忆学习和集中视觉条件

细粒度对象 (FO) 操纵要求机器人能够将指定的 FO 与视觉上相似的对象区分开来，并在存在场景干扰的情况下可靠地执行操作。然而，场景级视觉条件缺乏明确的对象选择，而类别级指导无法可靠地区分同一类别内的 FO。我们提出了一个 SAM3 引导的视觉运动框架，通过持久的物体记忆和集中的视觉条件来解决这些挑战。首先，我们介绍 FO 内存驱动的 SAM3 (FOM-SAM3)，它从有限的多视图配准图像中学习可重用的 FO 内存词元，同时保持 SAM3 完全冻结。通过一对一学习，这些词元对持久记忆进行编码，用于定位目标 FO 并拒绝类似的替代方案，这些替代方案可以存储在记忆库中。其次，我们提出了聚焦空间外观编码（FSAE），它将 FO 内局部外观特征与显式边界框坐标相结合，以条件操作策略，包括扩散策略（DP）和 Transformers 操作分块（ACT）。所提出的 FOM-SAM3 的有效性在 FO-30 数据集上得到了验证，该数据集包含 4 个粗略类别的 30 个物理对象。在三个真实的机器人 FO 操作任务中，我们的 FOM-SAM3 指导策略表现出了对干扰因素的鲁棒性、类似 FO 之间的区分能力以及对新 FO 的可扩展性。