论文

KungfuAthleteBot:从视频学习高动态人形运动与统一鲁棒恢复

KungfuAthleteBot: learning high-dynamic humanoid motion from video with unified robust recovery

摘要

视频是丰富廉价的人类运动数据源,富含极限运动行为。但使其可用于人形机器人并非简单重定向重建轨迹:视频导出运动物理不一致、缺乏执行信息、且不含失败与恢复。我们提出KungfuAthleteBot(KAB),把从视频学习高动态运动作为中心问题并依次解决三种失败模式。(C1)我们从国家级武术家视频构建KungfuAthlete数据集,引入物理引导的抛物线轨迹修正,去除重建的空中与落地阶段的悬高、入地与高频抖动。(C2)因视频不带力信息,严格跟踪重建轨迹动力学不可行,误差驱动初始化会反复把策略从不可行空中姿态重新启动;我们引入物理驱动的伪低动能(LKE)采样——使这类参照可学的核心机制:把初始化偏向动力学可行状态,让策略发现可行的执行模式而非模仿不可行者。(C3)引入直接训练范式:抗扰与摔后恢复在与跟踪视频运动相同的策略内学习,无需恢复参照数据与手动模式切换。人形机器人上,KAB从视频学习动态技能并约0.7秒从任意摔倒恢复——统一策略报告的最快恢复;统一策略消融确认各组件必要,支持"修复与补偿视频数据而非仅收集更多"才是解锁高动态人形技能的观点。