论文
梦想接触的声音：利用视频和音频生成实现零射击力感知操纵和数据生成
Dreaming the Sound of Contact: Leveraging Video and Audio Generation for Zero-Shot Force-Aware Manipulation and Data Generation
摘要
视频生成模型发展迅速，现在可以根据图像和文本提示合成机器人操作的合理视频。最近的工作直接从此类生成的视频中提取机器人动作，但结果是纯粹的运动学且缺乏力信息，导致接触丰富的任务失败，而适当的接触力对于成功至关重要。我们提出了一个联合利用生成的视频和音频来导出运动轨迹和所需力分布的管道。力分布由生成的接触声音的响度决定，我们使用闭环力调节器在 Franka 机器人上执行最终的力感知轨迹。我们在需要接触的多项任务上评估我们的流程，并在仅运动学基线失败的情况下展示成功的零次操作。我们还表明，该管道可以用作数据生成引擎来训练以闭环方式实现任务的策略。项目网站、视频和数据集：https://dreamingcontactsound.github.io/