DexSim2Real：用于通用灵巧操作的基础模型引导的模拟到真实的传输

模拟到真实的迁移仍然是将模拟中学到的灵巧操纵策略部署到现实世界机器人的关键瓶颈。现有方法依赖于手动设计的域随机化或特定于任务的适应，限制了它们在不同操作场景中的通用性。我们推出了 DexSim2Real，这是一个集成框架，它利用视觉语言基础模型来弥合模拟与真实之间的差距，以实现灵巧的操作。我们的系统结合了三个组成部分：（1）基础模型引导域随机化（FM-DR），它使用视觉语言模型作为视觉现实主义批评家，通过闭环 CMA-ES 优化模拟参数，通过直接视觉反馈补充 DrEureka 等基于文本的方法； （2）触觉视觉交叉注意策略（TVCAP），将交叉注意视觉触觉融合应用于零样本模拟到真实强化学习； (3) 渐进技能课程 (PSC)，建立在基于 LLM 的任务分解之上，并具有针对接触丰富的灵巧任务而定制的难度调度程序。通过盲法评估对六项具有挑战性的操作任务进行的大量实验表明，DexSim2Real 的平均真实成功率达到 78.2%，优于 DrEureka 和 DeXtreme，同时将模拟与真实的性能差距缩小至仅 8.3%。