论文
RoboFind:为盲人或弱视人士提供多智能体个性化物体搜索
RoboFind: Multi-Agent Personalized Object Search for People Who Are Blind or Have Low Vision
摘要
盲人和低视力用户通常需要定位特定的个人物体,而不是同一类别的任意实例。这项任务需要一个机器人能够在空间中移动并到达用户无法到达的视点,并且需要一个可访问的界面,用户可以在其中说出要指的对象并了解是否找到了正确的对象。我们提出了 RoboFind,这是一个多代理框架,其中智能手机教导目标,四足机器人执行搜索。目标教学代理通过具有 AR 指导、语音和触觉反馈以及屏幕阅读器支持的可访问捕获流程,将引导智能手机记录转换为语义目标配置文件和可重复使用的多视图参考库,因此以后的任务无需重复教学过程即可引用存储的对象。在运行时,导航代理探索环境并提出候选目标,验证代理根据存储的参考检查每个候选目标,协调和恢复代理完成任务或触发恢复和继续搜索。在 32 个真实机器人任务中,RoboFind 的成功率达到了 85.0%,而在 20 次针对 10 个目标的试验中,重构的连续第一站基线的成功率为 25.0%,并将错误成功率从 75.0% 降低到 5.0%。在 6 个共同目标上,它在 10/12 的试验中取得了成功,而 12 个独立执行的 GPT-6 Astra 试验的成功率为 5/12。这些结果表明,多代理设计符合个性化对象搜索的需求,在声明完成之前验证对象身份使得结果成为用户可以信赖的。