论文

识别未知:机器人与物体交互的快速开放词汇异常识别

Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction

应用与实践视觉感知与空间理解

摘要

在现实环境中运行的机器人通常必须能够识别以前未见过的物体。随着机器人系统向开放世界自主迈进,对开放词汇对象检测器的需求不断增长,但在很大程度上尚未得到满足,这种检测器无需提示且足够高效,可以持续部署。我们提出了 AnomNOVIC,这是一个两阶段的已知工作空间框架,它结合了经过训练的异常检测屏蔽自动编码器 (MAE) 和 NOVIC,这是一个强大的实时无提示开放词汇图像分类器。 MAE 生成通用的与对象无关的边界框,允许 NOVIC 对显着图像区域进行分类,而无需预定义的候选类列表。我们在以 NICOL 人形机器人为特色的桌面机器人物体环境中,根据强大的开放词汇基线对 AnomNOVIC 进行评估,无提示识别时达到 47.1% AP / 57.5% AP50,如果提供类别候选,则达到 59.0% AP / 72.5% AP50。在其他数据集(包括包含 48 个独特对象的野外测试集)中,AnomNOVIC 的无提示检测和分类准确率高达 82.6%。这些结果显着超过了所有测试的开放词汇基线,包括 YOLO-World-v2、OWLv2 和 YOLOE。