主动感知的机器人规划和情况处理

当前的机器人能够计算完成复杂任务的计划。然而，现实世界的环境本质上是开放和动态的，在计划执行过程中经常会出现不可预见的情况，例如卡住门和地板上掉落的物体。这些情况可能是由于机器人自身的动作故障或外部干扰（例如人类活动）造成的。检测和处理此类执行时间情况仍然是一个重大挑战，限制了这些机器人实现长期自主的能力。在本文中，我们开发了一个称为 VAP-TAMP 的规划和情况处理框架，使机器人能够在计划执行过程中主动感知和解决不可预见的情况。 VAP-TAMP 利用动作知识战略性地提示视觉语言模型以进行主动视图选择和情况评估，同时构建和推理场景图以进行集成任务和运动规划。我们在模拟和移动操作平台上使用服务任务评估了 VAP-TAMP。