通过重新标记视觉动作机器人数据实现任务鲁棒性

机器人学习扩展模型的最新趋势带来了令人印象深刻的策略，这些策略可以执行各种操作任务并推广到新的场景。然而，这些政策仍然难以遵循指令，这可能是由于现有机器人数据集中的语言和动作序列多样性有限。本文介绍了通过重新标记视觉动作机器人数据（TREAD）实现任务鲁棒性，这是一个可扩展的框架，利用大型视觉语言模型（VLM）来增强现有的机器人数据集，而无需额外的数据收集，利用这些模型中嵌入的可转移知识。我们的方法通过三个阶段利用预训练的 VLM：从原始指令标签和初始场景生成语义子任务，根据这些子任务分割演示视频，生成包含对象属性的不同指令，有效地将较长的演示分解为基础的语言-动作对。我们通过使用不同语言版本的文本目标来增强数据，进一步增强鲁棒性。对 LIBERO 的评估表明，在我们的增强数据集上训练的策略在新的、看不见的任务和目标上表现出更好的性能。我们的结果表明，TREAD 通过轨迹分解增强了规划泛化，并通过增加语言多样性增强了语言条件政策泛化。