论文

PAIWorld:用于机器人操作的 3D 一致世界基础模型

PAIWorld: A 3D-Consistent World Foundation Model for Robotic Manipulation

模型架构Transformer

摘要

世界基础模型 (WFM) 是功能强大的模拟器,但它们主要在单视图设置中运行,缺乏机器人操作所需的多视图 3D 一致性。虽然机器人系统依赖多个摄像头(以自我为中心、眼对手、腕戴式)进行策略学习,但当前的多视图世界模型只是简单地连接视图标记,而没有明确的几何推理。这会导致跨视图对象漂移、深度不一致和纹理未对齐。我们将这些失败归因于两个缺陷:缺乏明确的视图间通信机制和缺乏 3D 几何先验。我们认为同时解决这两个问题是必要且充分的。为了解决这个问题,我们提出了 PAIWorld,一个通过三个核心组件增强扩散 Transformer 世界模型的框架:(1) 几何感知跨视图注意力模块,用于建立跨视图的显式路径;(2) 几何旋转位置嵌入,将相机光线方向和外在姿势编码到注意力机制中;(3) 潜在 3D-REPA,从冻结的 3D 基础中提取 3D 感知特征模型以确保 3D 一致性。 PAIWorld 基于 DiT 的世界基础模型构建,在机器人操作基准上实现了最先进的多视图 3D 一致性,在 WorldArena 排行榜上排名第一,在 AgiBot-Challenge2026 排行榜上排名第二,同时支持基于模型的规划、世界行动模型和多视图策略 后训练 等下游应用。