论文

快速准确:通过环境感知模型选择的自适应 VLA 推理框架

Fast and Accurate: An Adaptive VLA Inference Framework through Environment-aware Model Selection

模型推理推理加速

摘要

具身智能需要长期推理和实时闭环响应能力。最近的双系统视觉-语言-动作(VLA)架构将快速反应控制与缓慢的慎思推理相结合,以平衡推理速度和任务成功率。然而,现有的双进程VLA将快速模块与慢速模块的中间表示紧密耦合,需要端到端联合训练并限制模块化、可扩展性和灵活的系统切换。在本文中,我们提出了环境感知模型选择(EMS),这是一种自适应 VLA 推理框架,可通过环境感知模型选择在两个不同规模的完全解耦系统之间切换。大型协商系统提供全局一致的轨迹规划以确保任务成功,而轻量级反应系统则实现高频闭环控制。基于强化学习的切换策略根据实时反馈动态选择要调用的系统,从而实现慢速系统的稀疏使用,从而平衡预训练知识的利用与运行时效率。与之前的分层VLA框架相比,我们的设计具有三个关键优势:(1)完全解耦和模块化的双系统架构,支持即插即用模型替换; (2) 自适应的、环境感知的切换策略; (3)响应闭环控制的高频推理。我们在模拟和现实环境中广泛评估 EMS。在 LIBERO 基准上,EMS 实现了与大规模基线相当的成功率,同时将有效动作频率提高到 93.4 Hz。该框架进一步展示了在现实世界双臂操作任务中的强大可扩展性,它可以在保持稳健性能的同时加快任务完成速度。