具有板载视觉语言模型的多智能体机器人控制

视觉语言模型 (VLM) 和视觉语言动作 (VLA) 模型在机器人控制中显示出了前景。然而，他们在可解释性、泛化性和计算要求方面面临着重大挑战。本文提出了一种多代理系统 (MAS) 架构，该架构通过在板载硬件上部署专用代理来解决这些限制，从而消除对外部计算的依赖。该系统在模拟工业仓库中控制多用途自主移动机械手，完成五个任务类别：安全检查、仓库维护、仓库搜索、包装质量验证和响应人类请求。始终使用紧凑型 VLM（3-20B 参数），并应用 微调 来提高包装检测精度。新颖的“Megamind”编排代理可以缓解较小模型的长期规划所固有的上下文保留问题。该系统使用 AMD Ryzen™ AI 迷你 PC 在硬件在环仿真中进行了验证。结果表明，完全板载的 MAS 架构是依赖于云的部署的可行且经济高效的替代方案，具有强大的现实传输潜力。该模拟环境已根据 Apache 2.0 许可证开源发布。