论文

OFflow:注入对象感知时间流匹配以实现鲁棒的机器人操作

OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation

摘要

鲁棒的机器人操作不仅需要预测场景如何随时间演变,还需要识别复杂场景中与任务相关的对象。然而,现有的 VLA 模型面临两个限制。它们通常只作用于当前帧,而未来预测和对象感知推理通常是在单独的潜在空间中学习的。我们提出了OFlow(将对象感知时间流匹配注入VLA),这是一个通过在共享语义潜在空间中统一时间预见和对象感知推理来解决这两个限制的框架。我们的方法通过时间流匹配来预测未来的潜伏,将它们分解为对象感知的表示,强调物理相关的线索,同时过滤与任务无关的变化,并根据这些预测条件连续动作的生成。通过将 OFlow 集成到 VLA 管道中,我们的方法可以在分配变化时实现更可靠的控制。 LIBERO、LIBERO-Plus、MetaWorld 和 SimplerEnv 基准测试以及实际任务中的大量实验表明,对象感知预见性能够持续增强稳健性和成功率。