论文

WING:交互中心谱潜引导的世界动作学习

World Action Learning via Interaction-Centric Spectral Latent Guidance

摘要

学习通用机器人策略需要大规模真实世界交互数据,但采集机器人演示仍昂贵难扩展。自我中心视频为机器人操作提供带任务相关语义的丰富人类交互经验,但直接迁移有两个挑战:从帧重构推断的潜动作可被自我相机运动等干扰变化支配;人与机器人行为常呈现不同的时间动力学。我们提出WING(经由交互中心谱潜引导的世界动作学习)——把交互知识从自我中心视频迁移到机器人策略的框架:先把观察者诱导运动与手-物交互分离,把交互中心分量蒸馏为潜动作;再利用"跨具身任务语义集中于缓慢变化的时间结构"的观察,在谱域识别自我中心潜动作与机器人行为间的共享低频分量并用其引导动作生成。WING在LIBERO平均成功率99.20%、RoboTwin 2.0 93.80%、RoboCasa-GR1 57.7%,并在多样泛化设置下的四个真机操作任务上表现强劲。结果表明交互中心谱引导为把物理交互知识从人类自我中心视频迁移到机器人控制提供了有效可扩展的方式。代码/项目页:https://mikuz12.github.io/wing/。