论文

REA以异步路由与有界升级协调慢推理和快动作策略

REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control

智能体系统应用与实践Agent 架构与控制循环Agent 动作执行与治理Agent Harness机器人Agent Runtime

摘要

基础模型在高级推理方面变得非常可靠,但它们仍然太慢且成本太高,无法用作细粒度控制器。相反,VLA 和全身控制器等快速策略提供了更有效的反应,但很难推广。虽然将深思熟虑的大脑(基础模型)与反应性小脑(快速策略)配对对于具身系统来说似乎很自然,但仍然存在两个障碍:方法是在不兼容的堆栈上构建和评分的,并且它们的异步协调很困难。例如,在 Agentic 循环中调用 VLA 的代理可能会停止快速执行,而在出现错误时调用代理的 VLA 往往会重复重新触发回退或完全错过静默故障。为了解决这个问题,我们提出了 REA(路由具身智能体),这是一个统一的运行时,其中深思熟虑的系统 2、具身路由器系统 1 和反应式系统 0 策略在一条黄金法则下进行合作——没有正在运行的策略等待大脑。 REA 不是在每次失败时询问大脑,而是采用路由记忆来提前存储每个策略的测量成功情况,使用边界触发的判断门来咨询大脑有关策略执行的信息,以及用于有限恢复的共享预算升级阶梯。通过对 60 项 LIBERO-Pro 任务中的 3,000 个测试回合进行评估,REA 取得了 95.9% 的成功率,并击败了自己策略池中的最佳单代理基线 (94.7%),同时将控制步骤减少了 25%,控制时间减少了 17%。在一项单独的 100 回合 RoboTwin 2.0 研究中,REA 使用 VLA 策略取得了 84% 的成功,使用 VLA+code 取得了 86% 的成功,而最强的单一 VLA 基线 MEDex 则取得了 80% 的成功。这些结果展示了在同一运行时内运行的学习策略和编程策略。 REA 还转移到 BEHAVIOR-1K 和真正的 Unitree G1 人形机器人,在比较方法中取得了最高的观察到的成功率。

2610.42053v1:论文原图
图1:REA概览。系统0运行生成的代码策略;系统1通过路由表(路由记忆)选择策略;系统2是依据当前状态进行推理与预测的Agentic评判门。Fix与Evo表示不同的代码即策略方案。