从被动执行到主动探索：现实环境中的代理体现操纵

代理系统的最新进展极大地增强了具体操纵的长期能力。然而，许多现有框架仍然遵循被动执行范式，这限制了它们对涉及文本语义线索、干扰因素和最初不可见目标的现实场景的适用性。为了弥补这一差距，我们提出了一种基于代理的主动探索框架，使机器人能够与环境动态交互，而不仅仅是执行预定义的指令。具体来说，我们的框架由三个协作模块组成：用于高级任务推理的规划模块、用于视觉场景理解的感知模块和用于低级操作的执行模块。这种设计使机器人能够主动获取任务相关信息，根据环境反馈调整其行为，并在部分可观察性下完成操纵任务。此外，我们引入了细粒度的感知-执行交错策略，它将视觉反馈与技能执行紧密结合起来，以提高探索的鲁棒性。我们在现实的查找和放置任务上评估我们的方法，证明其在具有挑战性的环境中的有效性，在这种环境中，在操作之前必须主动发现目标对象。