论文
Sentinel-VLA:一种具有主动状态监控功能的元认知 VLA 模型,用于动态推理和错误恢复
Sentinel-VLA: A Metacognitive VLA Model with Active Status Monitoring for Dynamic Reasoning and Error Recovery
摘要
视觉-语言-动作(VLA)模型通过利用广泛的世界知识和强大的泛化能力,推动了具体操作领域的发展。然而,当前的VLA模型仍然面临一些关键挑战,包括推理能力有限、缺乏状态监控以及自我纠正困难等。在本文中,我们介绍了 \textbf{Sentinel-VLA},这是一种配备主动“哨兵”模块来监控实时执行状态的元认知 VLA 模型。仅在必要时,例如在初始规划期间或检测到错误时,模型才会触发动态推理或制定错误恢复解决方案。这种按需推理机制可确保稳健的决策,同时最大限度地减少计算开销。值得注意的是,所有训练数据(涵盖 44 个任务和超过 260 万个转换)都是通过我们设计的管道自动生成和注释的。我们还提出了自我进化持续学习(SECL)算法,该算法允许Sentinel-VLA识别其能力边界并自动收集数据进行扩展,与正交持续适配器(OC-Adapter)配对以将参数更新限制在正交空间,从而防止灾难性遗忘。真实实验表明,与 SOTA 模型 PI0 相比,Sentinel-VLA 将任务成功率提高了 30% 以上。我们将开源所有代码、权重和数据生成管道。