使用具有迭代重新规划的基础模型对零售店中的移动操作进行任务规划

零售、仓储和物流等行业的自动化为提高吞吐量、降低成本和缓解劳动力短缺造成的干扰提供了机会。此前，此类工作主要集中在后台操作，涉及在相对结构化的环境中进行包装和分类。随着机器人移动操纵硬件和基础模型的进步，自动化现在可以应用于更加多变和以人为中心的环境，例如零售商店货架。在这项工作中，我们提出了一种使用 大语言模型 (LLM) 和视觉语言模型 (VLM) 的任务规划方法来解决超市等零售场景中的补货问题。我们在定制的全向移动操作平台上演示了该系统，具有用户驱动的提示和基于反馈的迭代重新规划方法以进行错误纠正。该端到端系统在 PyBullet 模拟环境中针对拾放任务进行了验证。