论文

回到熟悉的未来:通过预先设想的里程碑选择实现 VLA 策略的故障恢复

Back to the Familiar Future: Failure Recovery for VLA Policies via Pre-Imagined Milestone Selection

智能体系统Agent 环境交互

摘要

即使任务在物理上仍然可行,视觉-语言-动作(VLA)策略在操作过程中也可能偏离名义轨迹。从这些偏差中恢复过来是具有挑战性的,因为它们将政策推入不熟悉的状态空间,在这些状态空间中,直接重新规划经常会破坏行动序列的稳定。我们提出了回到熟悉的未来(B2FF),这是一种用于预见驱动的 VLA 的恢复框架,利用未来的视觉条件作为恢复接口。在执行之前,VLA 会根据清晰的初始观察生成一个包含熟悉的未来状态的里程碑库。在恢复时,具有可恢复性意识的选择器从该库中选择一个恢复里程碑,并将其强制作为固定的视觉目标。这使得 VLA 能够稳健地将偏离轨迹的观测结果映射回熟悉的未来。在注入故障的 LIBERO 上,在与注入故障一致的受控恢复时间下,B2FF 将基线 VLA 的平均成功率从 56.3% 提高到 74.0%,这表明预先设想的里程碑可以在没有 微调 底层操作生成器的情况下指导恢复。