HyperSim：用于鲁棒机器人操作的整体模拟到真实框架

扩展数据量和多样性对于泛化体现智能至关重要。虽然合成数据生成为昂贵的物理数据采集提供了可扩展的替代方案，但由于领域差距，将机器人操作策略从模拟转移到现实世界（模拟到真实）仍然是一个艰巨的挑战。本文介绍了 HyperSim，这是一个涵盖从合成数据生成到策略训练和无缝现实部署的整体框架。为了系统地弥合模拟与真实之间的差距，HyperSim 通过三个核心支柱来实现：高保真环境合成、对抗轨迹生成以及模拟与真实协同训练。总的来说，这些模块通过增强视觉保真度、扩大数据覆盖范围和强制执行域不变表示来解决域差异。我们通过大规模实证研究严格验证 HyperSim，该研究涉及两个代表性操纵模型的 400 个现实世界任务执行。通过三个细粒度指标的评估，我们的完整流程在 ACT 和 π_{0} 上分别实现了 80% 和 95% 的模拟到真实成功率。此外，针对我们的对抗性轨迹训练的政策表现出显着增强的针对动态不确定性的鲁棒性，在物理扰动下实现了 35% 的高完成率。