论文
FBFM:用于世界动作模型执行中的流程匹配的 无需训练 异步反馈机制
FBFM: A Training-Free Asynchronous Feedback Mechanism for Flow-Matching in World-Action Models Execution
摘要
尽管世界动作模型(WAM)通过在行动前预测视觉进化来增强长视野机器人控制,但长视野可靠性需要在实际观察中反复重新建立基础,而不是递归预测轨迹。现有的 WAM 通过在块之间使用 真值 数据刷新历史记录或 KV 缓存来解决此问题。然而,这种按块的反馈在粗时间粒度上运行,因此无法纠正单个时间步级别的预测错误。为了解决这个问题,我们提出了反馈流匹配(FBFM),这是一种 无需训练 推理机制,可在主动生成的块内推动与真实观测重新对齐。在流匹配期间,FBFM 对条件速度场应用掩模伪逆校正:它利用前面的动作块来指导下一个动作块的生成,并使用执行前面的块后观察到的图像来指导下一帧预测。这种跨块配对(来自一个块的反馈及时到达以塑造下一个块)创建了一个异步循环,无需等待块边界即可纠正错误。该机制为 无需训练,可提高对意外事件的响应能力并抑制长期任务中的漂移。我们在联合生成的 WAM (DreamZero) 和阶段式 WAM (LingBot-VA) 上评估 FBFM。在选定的 LIBERO 和 RoboTwin2.0 任务中,它在有利的环境下将成功率提高了 5% 以上,并且现实世界的机器人观察预测诊断显示出明显更好的跟踪。我们认为 FBFM 为细粒度在线校正提供了一种新范例,将开环流生成与闭环现实世界动态联系起来。