PSR：用于丰富接触操作的预测感觉运动表征学习

丰富的接触操纵需要策略通过对接触力、机器人配置和视觉观察之外的交互历史进行推理来生成精确的动作。现有方法被动地以力反馈为条件，而不是主动预测未来的接触动态，这限制了它们产生高精度动作的能力。为了解决这个问题，我们引入了预测感觉运动表示（PSR）学习，这是一个从多模态感觉运动信号中学习预测表示层次结构并将其集成到视觉运动策略的动作流中的框架。具体来说，在预训练阶段，多模态 Transformer 被训练为通过共同预测未来的交互动态来学习预测表示的层次结构。学习到的层次结构随后增强了动作流，使生成的策略能够在多个深度上利用与接触相关的线索。我们进一步在视觉-语言-动作（VLA）模型中实例化 PSR，从而产生 PSR-VLA，并在六个现实世界的接触丰富的操作任务上对其进行评估。实验结果表明，PSR-VLA 的总体成功率达到 91.7%，比 $\pi_{0.5}$、ForceVLA-$\pi_{0.5}$ 和 ForceVLA2-$\pi_{0.5}$ 分别提高了 30.0、22.5 和 19.2 个百分点。这些结果证明了所提出的 PSR 对于力感知、接触丰富的操纵的有效性。此 https URL 提供了任务和稳定性测试的视频。