Mask2Real-WM：分段掩模作为可控灵巧世界模型的模拟到真实桥梁

行动条件世界模型使机器人能够预测候选行动的未来后果，而无需额外的物理交互，支持政策评估、规划和数据增强。我们提出了 Mask2Real-WM，这是一个用于灵巧操作的两阶段动作条件世界模型，它将像素预测解耦为动态模型和渲染模型。动力学模型根据过去的掩模和 23-DoF 动作序列预测未来的分割掩模。渲染模型使用 ControlNet 增强的稳定视频扩散主干将预测蒙版映射到真实感 RGB。分割空间中较小的模拟与真实差距使动态模型能够从超过 50 小时的合成模拟数据的大规模预训练中受益，随后是 微调 在不到 2.5 小时的真实演示中。灵巧拾放基准测试表明，要实现所有 23 个自由度的每自由度动作可控性，都需要掩模调节和模拟预训练。相比之下，整体基线捕获广泛的手和末端执行器轨迹，但不能可靠地反映细粒度的每个关节的动作效果。