论文
Lucid-XR：用于机器人操作的扩展现实数据引擎
Lucid-XR: An Extended-Reality Data Engine for Robotic Manipulation
摘要
我们推出 Lucid-XR，这是一种生成数据引擎，用于创建多样化且逼真的多模态数据来训练现实世界的机器人系统。 Lucid-XR 的核心是 vuer，这是一种基于网络的物理模拟环境，直接在 XR 耳机上运行，无需专门设备即可在互联网范围内访问沉浸式、无延迟的虚拟交互。完整的系统将设备上的物理模拟与人机姿势重定向相集成。收集的数据通过可通过自然语言规范控制的物理引导视频生成管道进一步放大。在完全使用 Lucid-XR 的合成数据进行训练后，我们演示了机器人视觉策略的零样本迁移到看不见的、杂乱的和光线昏暗的评估环境。我们提供了涉及软材料、松散结合颗粒和刚体接触的灵巧操作任务的示例。项目网站：https://lucidxr.github.io