论文

VLAW:愿景-语言-行动政策和世界模型的迭代共同改进

VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model

摘要

本文的目标是通过迭代在线交互来提高视觉-语言-动作(VLA)模型的性能和可靠性。由于在现实世界中收集策略策略采样轨迹的成本很高,因此我们研究了是否可以使用学习的模拟器(具体而言,动作条件视频生成模型)来生成额外的策略采样轨迹数据。不幸的是,现有的世界模型缺乏政策改进所需的物理保真度:它们主要是在演示数据集上进行训练的,这些数据集缺乏对许多不同物理交互(特别是失败案例)的覆盖,并且很难在接触丰富的对象操作中准确地模拟微小但关键的物理细节。我们提出了一种简单的迭代改进算法,该算法使用现实世界的转出数据来提高世界模型的保真度,然后可以使用该算法生成补充合成数据以改进 VLA 模型。在我们对真实机器人的实验中,我们使用这种方法来提高最先进的 VLA 模型在多个下游任务上的性能。与基本策略相比,我们的绝对成功率提高了 39.2%,通过生成的综合策略采样轨迹进行训练,绝对成功率提高了 11.6%。视频可以在这个匿名网站上找到:https://sites.google.com/view/vla-w