FlowDAgger：潜在空间中生成机器人策略的人在环适应

基于流匹配和扩散的预训练生成机器人策略在广泛的操作任务中取得了令人印象深刻的结果。然而，现实世界的部署通常会暴露预训练分布之外的故障模式。缩小这些差距通常需要在物理硬件上进行大规模数据收集或在线强化学习，这对于快速、安全的适应来说是不切实际的。我们提出了 FlowDAgger，一种样本和计算效率高的方法，用于根据潜在空间中的人类干预来调整冻结的生成机器人策略。我们的关键思想是动作反转：使用逆时积分和局部细化，将每个人类专家动作映射到在冻结基本策略下产生的噪声。由此产生的反向噪声为轻量级潜在策略提供监督，该策略在部署时引导基本模型，从而实现快速技能获取，同时保留其行为先验。我们在模拟以及现实世界的双手和单臂操作中评估 FlowDAgger，通过少量干预调整行动头 VLA 和世界行动模型。 FlowDAgger 的性能优于有监督的 微调 和潜在空间 RL 基线，并保留了针对保留任务的预训练技能，为在现实世界中调整机器人基础模型提供了一条实用路径。网站：https://microsoft.github.io/FlowDAgger