RePlan-Bot：针对具体指令遵循的多级重新规划

摘要

具身指令跟随 (EIF) 要求代理在交互式 3D 环境中理解并执行复杂的自然语言命令。尽管最近取得了进展，但现有方法在长期规划和处理不可逆转的状态变化方面常常失败，导致任务成功率较低。为了应对这些挑战，我们引入了 RePlan-Bot，这是一种新颖的 EIF 代理，可以在整个任务执行过程中执行多级、连续的重新规划。 RePlan-Bot 集成了一个基于 LLM 的高级审核器，用于在环境反馈的指导下进行动态子目标调整；一个基于多层实例图的常识引导搜索机制，用于精确和结构化的对象定位；以及一个基于 ViT 的轻量级校正器，用于先发制人地修复有风险的低级操作。根据 ALFRED 基准进行评估，RePlan-Bot 在可见和不可见的环境中均实现了最先进的性能，展示了卓越的适应性和可靠性。