论文

感知行为基础模型:使人体运动先验适应以机器人为中心的地形

Perceptive Behavior Foundation Model: Adapting Human Motion Priors to Robot-Centric Terrain

模型训练合成数据

摘要

人形行为基础模型旨在从广泛的人体运动先验中获取可重用的全身控制策略,使单个控制器能够产生多样化和富有表现力的行为。然而,现有的以运动为中心的基础政策在很大程度上假设参考运动已经与机器人的周围环境物理兼容。当演示者、操作员和机器人处于不同的环境时,这种假设就被打破了:人类的动作可以指定预期的行为,但不能指定机器人当地地形所需的立足点、间隙、身高或接触时间。我们引入 \emph{感知行为基础模型}(感知 BFM),这是一种地形感知的人形控制框架,它将人类运动先验建立在以机器人为中心的感知中。该模型保留原始运动参考作为行为界面,同时使用局部地形观察来调整接触、姿势和时间。为了提供可扩展的地形监督,我们开发了 \emph{地形共形参考合成} (TCRS),它通过接触感知立足点构建、足部几何感知摆动优化、支持感知根重建、碰撞修复和多点逆运动学,将面向运动的人体运动剪辑转换为地形一致参考。然后,我们训练盲人适应参考教师,并通过目标框架动作对齐将其地形共形行为转移给部署的原始参考学生。该学生是一个身份门控的 Transformer 跟踪器,其地形特征通过残差路径进入,该残差路径被初始化以保留先前的运动跟踪,并经过训练以仅在需要时产生局部校正。