论文
一个可扩展的嵌入式智能平台,用于家庭移动操作任务的从真实到模拟到真实的无缝传输
A Scalable Embodied Intelligence Platform for Seamless Real-to-Sim-to-Real Transfer of Household Mobile Manipulation Tasks
摘要
移动操控是实体智能机器人的一项基本能力。在非结构化家庭环境中对强大且通用的操纵的需求不断增长,推动了具体智能平台的快速发展。然而,实现从真实到模拟到真实循环的无缝转移面临着三个关键挑战,包括昂贵的高保真模拟场景重建、模拟中系统策略评估的复杂性以及不兼容的现实部署。为了应对这些挑战,我们开发了 BestMan,这是一个可扩展且无缝的真实到模拟到真实平台,可弥合模拟与现实世界之间的差距,从而实现家庭移动操作的有效策略开发、集成和部署。具体来说,我们设计了一种新颖的自动场景生成(ASG)模块来根据真实观察重建真实模拟。然后,我们提出了一种模拟引导的任务形式化和技能学习架构,支持模拟中混合技能策略的灵活集成和大规模评估。最后,为了增强现实世界的可扩展性,我们开发了与硬件无关的统一中间件(HUM),以确保跨异构移动操纵器的无缝且兼容的模拟到真实的传输,以实现实际部署。实验结果证明了我们提出的平台在建立标准化基准和促进移动操纵领域有前途的研究方面具有卓越的性能。