论文

ALOE:视觉-语言-动作模型 后训练 的动作级 离策略 评估

ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training

模型训练强化学习

摘要

我们研究如何在现实环境中通过人机循环强化学习(RL)来改进大型基础视觉语言动作(VLA)系统。一个关键的挑战是从异构的现实世界经验中学习可靠的价值函数,因为价值估计为 VLA 训练提供了主要的学习信号。实际上,重播缓冲区包含从历史政策、在线展示、演示和间歇性人为干预中收集的轨迹。由于重放缓冲区混合了不同行为生成的轨迹,因此观察到的回报可能与当前策略的质量不匹配。先前的 VLA 后训练 方法通常依赖于进度式价值信号,该信号反映了历史行为的平均质量,导致当前策略的学习信号不匹配。在本文中,我们提出了 ALOE,一种 离策略 评估框架,其价值函数直接评估每次迭代的当前策略行为。具体来说,ALOE 结合分块时间差异引导和保守值聚合来执行稳定的当前策略评估,然后使用这些估计来进行优势加权策略改进。这种设计改进了稀疏奖励下关键行动块的贡献分配,并支持稳定的政策改进。我们在四个现实世界的操作任务上评估 ALOE,这些任务涵盖长视野和高精度场景:智能手机包装、衣物折叠、多物体分类和手机组装。在所有任务中,ALOE 均优于其他 VLA 后训练 方法,突出了 离策略 值估计对现实世界 VLA 后训练 的优势。视频可在我们的项目网站 https://rooshy-yang.github.io/aloe 上获取。