论文
从观察到模拟：利用数字表兄弟进行生成式高保真模拟，以实现通用机器人学习和评估
From Seeing to Simulating: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation
摘要
在现实环境中学习强大的机器人策略需要多样化的数据增强，但由于需要获取物理资产和重新配置环境，扩展现实世界数据收集的成本高昂。因此，将现实世界场景增强到模拟中已成为有效学习和评估的实用增强方法。我们提出了一个生成框架，该框架建立了从现实世界全景到高保真模拟场景的生成式真实到模拟映射，并通过语义和几何编辑进一步合成不同的相似场景。结合高质量的物理引擎和现实资产，生成的场景支持交互式操作任务。此外，我们还采用多房间拼接来构建一致的大型环境，以便在复杂的布局中进行长视野导航。实验证明了强大的模拟与真实的相关性，验证了我们平台的保真度，并表明广泛扩展数据生成可以显着更好地泛化未见过的场景和对象变化，证明了 Digital Cousins 对于泛化机器人学习和评估的有效性。