RobotUse：分配计算、上下文和决策

机器人智能体必须将其预期行为与观察到的结果联系起来，同时保留在重复尝试中修改其选择所需的上下文。现有的接口通常将这些选择留在预定义的工具中，或者需要智能体来管理详细的执行代码及其增长历史。我们介绍了 RobotUse，一个机器人智能体Harness，它围绕指定和修改物理动作来组织计算、上下文和决策。 智能体直观地选择目标和姿势，而后端处理几何、运动规划和控制。子代理保留每个子目标内的详细交互，并返回后续决策所需的信息。持续利用让智能体通过更新持久性剧本来从执行中学习。在 RoboLab 上，RobotUse 实现了 45% 任务成功率，比 CaP-X 高 6.7 个百分点，同时保持紧凑的决策上下文并减少对预定义操作抽象的依赖。此外，我们表明，尽管反馈不完美，RobotUse仍能从现实世界的执行中学习，并将所学到的知识转移到后续任务中。项目页面位于 https://robotuse-team.github.io/.