RoboFolDeX：可变形物体的长视野机器人操作的物理世界基准

实体人工智能，包括视觉-语言-动作和世界-动作模型，必须在物理世界中可靠地运行。然而，在模拟中表现良好的方法在真实机器人上可能会大幅退化，特别是在长视距可变形物体操纵中，其中策略必须跟踪变化的状态并执行可靠的多阶段双手交互。现有的真实机器人基准主要关注短视界刚性物体任务，对长视界变形操纵的覆盖范围有限。我们推出 RoboFolDeX，这是一个完全根据真实机器人数据构建的物理世界基准，其主要任务是服装折叠。由于真实的机器人数据收集成本高昂，RoboFolDeX 研究如何有效地重用异构物理体验。该基准围绕四个研究轴组织：利用部署期间收集的人为干预和恢复数据；跨任务传输数据，包括跨服装类别以及从刚性对象操作到可变形对象操作；随着光照、背景和布局的变化，跨场景重用数据；以及跨机器人实施例传输数据。 RoboFolDeX 提供了 2,000 多个小时的真实机器人数据，涵盖 20 多个任务和 10 多个实施例。我们还为外部提交的策略建立了一个公平的真实机器人评估平台，具有标准化的任务、保留的物理对象、受控的初始化和统一的执行协议。该平台可通过 https://ai.midea.com/#/fold-challenge 公开访问。我们希望 RoboFolDeX 能够作为异构真实机器人数据重用和可靠的长视野变形操作的统一测试平台。