论文

力量永远不会太晚:通过反作用力注入加速 VLA 后训练

Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection

模型训练监督微调与指令调优

摘要

预训练的视觉-语言-动作(VLA)策略提供了强大的语言条件操纵知识,但它们在很大程度上仍然是视觉驱动的,一旦操纵进入场景被遮挡、深度模糊或小力错误将执行推离离线演示分布的接触状态,它们就会陷入困境。我们提出了 LIFT(VLA 后训练 的后期反应性注入力),这是一种力感知的 后训练 框架,它为预训练的 VLA 策略添加了接触反应性,同时保留了其一般操作知识。 LIFT 在原始动作专家旁边嫁接了一个反应动作专家,从预训练的动作权重对其进行初始化,并通过因果力记忆和零初始化交叉注意注入最新的 6D 末端执行器力,使得动作在执行过程中能够刷新。为了解决接触反馈的策略依赖分布变化,LIFT 进一步将反作用力注入与在线 DAgger 循环结合起来,该循环在离线任务对齐数据和人工校正的在线执行轨迹的混合上进行训练。在毛巾折叠、书籍插入和河内环放置方面,LIFT 比仅视觉的 后训练 学习速度更快,性能更高,而消融表明反作用力记忆和在线校正数据对于稳健的丰富接触操作都很重要。我们的代码可在 https://github.com/y-wng/lift 上公开获取。