论文

HapticWAM:将想象中的触摸提炼为世界动作模型,无需推理时间触觉感知

HapticWAM: Distilling Imagined Touch into a World-Action Model without Inference-Time Tactile Sensing

摘要

富含接触的操作需要估计力、滑移和接触几何形状,这些在场景图像中可能仍然不明确。光学触觉传感器提供接触表面的视觉观察和机械测量,但从这些信号中学习提出了两个挑战:代表超越外观的接触,并将其好处转移到部署时不需要指尖观察的策略。我们介绍 HapticWAM,这是一种结合了异构触觉编码、结构化接触预测和师生蒸馏的世界动作模型。它的老师将凝胶图像与变形、剪切、分布力、合成扳手和导出的接触状态一起编码到冻结的视频主干中。该模型不是单独预测触觉像素,而是联合生成动作和描述未来事件和机制的接触包。预期接触耦合使用先前想象的包来调节注意力,在无法直接触觉观察时保留与接触相关的输入。触觉想象蒸馏将接触未来和动作预测传输给保留生成接触头但删除其指尖输入分支的学生。在现实世界的设置中,在三个接触丰富的拾取和放置任务中,HapticWAM Student 的每项任务平均成功率为 77%(50 次启动中的 41 次,总计 82%),其中一项任务达到 95%,优于评估的教师和基线配置。