通过时序视触觉学习预测多指抓取稳定性

人类可以使用指尖触觉反馈以几乎完美的成功率抓取日常物体，但许多机器人抓取文献强调使用平行夹具进行基于视觉的抓取选择。在这项工作中，我们系统地研究了高分辨率、动态触觉传感如何有助于灵巧机器人手的抓取稳定性预测和模型引导抓取。为此，我们使用配备四个 Digit 360 触觉传感器的多指机械手收集了 200 个物体的 10,000 次抓取试验的数据集，记录每次抓取过程中的外部视觉、本体感觉和触觉流。利用该数据集，我们训练了端到端时间多模态模型，以根据提升前的抓取观察来预测提升后的稳定性，并比较了传感模式和编码主干。实验结果和受控输入消融表明，结合触摸，特别是高分辨率动态触摸，可以改善抓取稳定性预测。最后，我们将学习到的预测器部署为真实机器人上的在线稳定门，其中 与非触觉门相比，视觉触觉模型引导的重新抓取将执行举升的成功率提高了 10.5 个百分点。这些结果表明，丰富的指尖传感和捕捉触摸动态的富有表现力的时间模型可以支持多指手的学习抓取，而无需明确的接触或力建模，从而提供从触觉体验到稳定灵巧操作的可扩展的数据驱动路径。该数据集可在 https://lasr-lab.github.io/dexterous-grasp-stability/。 上公开获取