EgoTactile：从以自我为中心的视频中学习日常物体的抓握压力

估计以自我为中心的视频中的全手抓握压力对于沉浸式 VR 和机器人操作至关重要，但密集的触觉感知通常依赖于侵入式硬件。现有的基于视觉的方法主要依赖于平面或指尖接触，无法推广到复杂的 3D 对象交互。因此，我们推出了 EgoTactile，这是一种将自我中心视频与针对各种日常物体的全手压力监控相结合的基准配对，结合了徒手传输子集以实现自然场景的泛化。利用这个基准，我们首先建立 EgoPressureFormer 作为区分基准。除此之外，为了明确解决部分观察中的不确定性，我们提出了 EgoPressureDiff，这是一种条件扩散框架，适用于大规模预训练视频扩散主干。通过将丰富的世界知识先验与物理信息特征校正层相结合来注入语义约束，我们的方法有效地推断出合理的接触模式并解决了视觉物理模糊性。大量的实验表明，我们的方法在基准测试中实现了卓越的性能，并且在野外场景中具有强大的可移植性。我们的项目页面位于 https://egotaactile.github.io/。