SimWeaver：用于变形操纵的零样本 RGB 模拟到真实

如果没有现实世界的 微调，用于变形操作的 RGB 模拟到真实在很大程度上仍然悬而未决。我们推出了 SimWeaver，它在每个任务 200 个模拟演示上训练零样本 RGB VLA 策略，在 5 个不同的可变形任务（包括塑料袋操作）中，每个任务的成功率达到 80% 以上，现实世界的平均成功率为 91%，无需远程操作或每个任务校准。 SimWeaver 将可靠的测量支持模拟器 (SimWeaver-Sim) 与支持单图像生成的可扩展资产框架 (SimWeaver-Asset)、确定性拓扑感知轨迹合成器 (SimWeaver-Syn) 以及具有 ISP 感知光度增强的模拟到真实协议 (SimWeaver-Real) 结合在一起。在丝绸抓取方面，经过模拟训练的策略在视觉分布变化下达到 100%，而实际数据基线下降到 9-70%，每条轨迹的成本降低了两个数量级。我们将发布 SimWeaver 和代表性资产子集。项目页面：https://simweaver.github.io/