IM-ENGINE：用于生成具体数据的图像编辑

基于学习的操作需要具有语义意义和物理可执行性的监督，但当前的数据管道通常仅提供这些属性之一。人类演示可以捕捉意图，但收集成本高昂，并且受到人类与机器人实施例差距的限制，而模拟可以扩展数据生成，但通常无法指定功能行为。我们提出了 IM-ENGINE，这是一个基于模拟器的管道，它使用图像编辑作为具体数据生成的中间表示。给定具有已知几何、深度、分割和相机参数的渲染场景，IM-ENGINE 编辑图像以注入任务相关语义，使用模拟器先验和未更改的锚点对象恢复显式 3D 状态，细化物理状态，并将其转换为机器人可执行的监督。我们实例化了灵巧掌握合成和目标状态生成的管道。对于抓取，IM-ENGINE 在图像空间中生成人类抓取，恢复手与物体的交互，将其重新定位到机器人手，并将其细化为经过物理验证的机器人抓取。对于目标生成，它将渲染的场景编辑为所需的结果，恢复目标对象姿势，并将其细化为物理上有效、语义上有意义的目标和轨迹。生成语义先验和模拟器基础的结合可以为机器人学习提供可扩展的任务相关监督。